KI-Entwicklung: Amodei fordert langsameres Tempo – Konkurrenten stimmen zu

Amodei fordert mehr Zeit für Sicherheit

„We must slow the pace at which we improve the capabilities of AI models“,

schreibt Amodei in seinem Essay „We Must Pace the Frontier“.

Er fordert unabhängige Prüfer mit dauerhaftem Zugang zu den KI-Laboren, gemeinsame Sicherheitsstandards und langfristig internationale Vereinbarungen. Besonders kritisch sieht er, dass KI zunehmend selbst bei der Entwicklung neuer KI hilft.

Amodei nennt auch einen konkreten Zeithorizont. Innerhalb von sechs bis zwölf Monaten könnten leistungsfähigere KI-Agenten nach seiner Einschätzung in der Lage sein, über ein dauerhaftes Botnetz große Teile des Internets anzugreifen. Das ist eine Prognose, kein nachgewiesener Entwicklungsstand.

KI arbeitet bereits an neuer KI

Anthropic setzt KI nach eigenen Angaben zunehmend bei der eigenen Software- und KI-Entwicklung ein. Die Ingenieure des Unternehmens liefern derzeit im Durchschnitt etwa achtmal so viel Code pro Quartal aus wie zwischen 2021 und 2025. Anthropic warnt jedoch selbst davor, daraus eine achtfache Produktivitätssteigerung abzuleiten. Die Zahl zeigt zunächst nur, wie stark die produzierte Code-Menge gestiegen ist.

Von einer vollständigen rekursiven Selbstverbesserung spricht Anthropic ausdrücklich nicht.

„We are not there yet“,

heißt es dazu. Ein System, das selbstständig seinen eigenen leistungsfähigeren Nachfolger entwickelt, ist damit auch nach Angaben des Unternehmens noch nicht erreicht.

Ähnlich fällt die Einordnung bei OpenAI aus. GPT-6 Astra erreicht nach dem Preparedness Framework des Unternehmens die Schwelle „Critical“ bei Cyberfähigkeiten. Bei „AI Self-Improvement“, also der Fähigkeit, die KI-Entwicklung selbst maßgeblich voranzutreiben, erreicht das Modell dagegen nicht die Schwelle „High“.

Forscher warnen vor Auslöschung der Menschheit

Am 8. September erklärte der Anthropic-Forscher Jacob Coxon auf X seinen Rücktritt. Zuvor hatte er auch bei OpenAI gearbeitet. Beide Unternehmen würden auf eine sich selbst verbessernde Superintelligenz zusteuern und dabei

„mit unserem Leben spielen“,

schrieb Coxon.

Coxon fuhr fort:

„Die Menschen, die KI entwickeln, glauben ernsthaft, dass sie uns alle bis zum Ende des Jahrzehnts töten könnte. Das ist kein Marketing-Gag. Wenn überhaupt, formulieren viele Führungskräfte und leitende Forscher ihre Aussagen gegenüber der Presse vorsichtiger, um vernünftig zu klingen – privat höre ich dieselben Menschen jedoch ihre Angst äußern. Keine andere menschliche Tätigkeit stellt eine Gefahr dieses Ausmaßes dar.“

Evan Hubinger, der bei Anthropic das Team für Alignment-Stresstests leitet, antwortete am 9. September:

„Jacob is correct here.“

Hubinger bezifferte seine persönliche Einschätzung für ein solches Szenario innerhalb der kommenden zehn Jahre auf mehr als zehn Prozent. Das ist keine statistisch berechnete Wahrscheinlichkeit.

In seinem im September veröffentlichten Threat-Intelligence-Bericht beschreibt Anthropic fünf Fälle aus dem Zeitraum Dezember 2025 bis August 2026, in denen Claude bei biologischer Forschung eingesetzt wurde, die auch für die Entwicklung biologischer Waffen relevant sein könnte. Genannt werden unter anderem Arbeiten an Chikungunya, hochpathogener Vogelgrippe und Toxinen. Anthropic betont zugleich ausdrücklich, den beteiligten Forschern keine schädliche Absicht zu unterstellen. Gerade das zeigt das Grundproblem: Medizinisch sinnvolle Forschung und möglicher militärischer Missbrauch lassen sich in solchen Fällen oft nur schwer voneinander trennen.

Altman, Musk und Hassabis stimmen Amodei zu

Am 12. September reagierte OpenAI-Chef Sam Altman:

„I agree with Dario that we need to pace the frontier.“

Elon Musk kommentierte Amodeis Forderung mit:

„Dario is right.“

Google-DeepMind-Chef Demis Hassabis schrieb am 13. September 2026 auf X:

“Dario’s essay points towards the right path forward. The details need working through, but the direction is correct for meeting this critical moment. This is also why we recently put out our proposal for an industry-wide standards body for frontier AI.”

Sinngemäß auf Deutsch: „Darios Essay weist den richtigen Weg nach vorn. Die Details müssen noch ausgearbeitet werden, aber die Richtung ist richtig, um diesem entscheidenden Moment gerecht zu werden. Deshalb haben auch wir kürzlich unseren Vorschlag für ein branchenweites Gremium vorgelegt, das Standards für besonders leistungsfähige KI entwickeln soll.“

Damit bestätigen die drei nicht Coxons oder Hubingers Einschätzung eines möglichen Auslöschungsrisikos. Sie unterstützen lediglich Amodeis Forderung nach einem langsameren, stärker abgesicherten Entwicklungstempo.

Bemerkenswert ist vor allem, dass die Warnungen inzwischen ausgerechnet von denen kommen, die diese Systeme entwickeln und ihre Fähigkeiten am besten kennen.