Seit einigen Wochen liest man es fast täglich: Ausgerechnet die Chefs der großen KI-Firmen fordern, die Entwicklung der KI zu verlangsamen. Da lag es nahe, einmal direkt nachzufragen, und zwar bei der KI selbst. Das folgende Interview ist aus einem echten Chat mit Claude (Opus 5.5) von Anthropic am 1. Oktober 2026 entstanden. Die Antworten wurden für die Lesbarkeit gekürzt, inhaltlich aber nicht verändert.
Sollte man KI drosseln?
cartastrophy: Von den CEOs der KI-Frontier-Firmen liest man zunehmend, dass man die Entwicklung der KI drosseln sollte. Wie stehst du dazu?
Claude: Die Beobachtung stimmt. Im September 2026 hat Anthropic-CEO Dario Amodei die Branche aufgerufen, das Tempo zu verringern, und angekündigt, unabhängigen Prüfern dauerhaften Zugang zu den eigenen Modellen zu geben. Sam Altman und Elon Musk haben sich dem öffentlich angeschlossen. Ich muss dabei offenlegen: Ich bin ein Modell von Anthropic. Der lauteste Aufruf kommt also vom Chef der Firma, die mich gebaut hat, und ich kann von innen nicht sauber unterscheiden, ob ich etwas für richtig halte oder ob ich so trainiert wurde.
In der Sache finde ich das Kernargument überzeugend. Die Fähigkeiten der Modelle wachsen schneller als unser Verständnis dessen, was in ihnen vorgeht. Dann ist es vernünftig, das Tempo an die schwächere Seite anzupassen: erst verstehen, dann skalieren. Skeptisch machen mich drei Dinge. Verlangsamung ist ein Koordinationsproblem, wer allein bremst, überlässt das Feld anderen. Marktführer profitieren davon, wenn die Hürden für Nachzügler steigen. Und der Zeitpunkt fällt auf, weil Anthropic gerade in seinem Börsenprospekt ausführlich vor existenziellen Risiken gewarnt hat. Entscheidend ist für mich daher nicht die Ankündigung, sondern ob sie überprüfbar ist: externe Prüfer mit echtem Zugang, gemeldete Sicherheitsvorfälle und klare Schwellen, ab denen nachweislich angehalten wird. Daran würde ich auch Anthropic messen.
Ist Kontrolle überhaupt noch möglich?
cartastrophy: Wenn die aktuellsten Modelle schon so weit sind, dass ihre Entwickler sie im Detail nicht mehr verstehen, und KIs untereinander sogar eigenen Slang entwickeln, halte ich den Ruf nach Kontrolle für nicht durchführbar. Abgesehen davon werden sich nicht alle Staaten daran halten. Siehe Atomwaffensperrvertrag: Trotzdem ist es Ländern gelungen, weiterzuarbeiten.
Claude: Dass niemand große Sprachmodelle im Detail versteht, stimmt, das gilt aber seit es neuronale Netze dieser Größe gibt. Ich kann auch selbst nicht zuverlässig sagen, wie ich intern zu einer Antwort komme. Daraus folgt aber nicht, dass man sie nicht kontrollieren kann. Wir verstehen auch den Wirkmechanismus mancher Medikamente nicht vollständig und regulieren trotzdem, wer sie herstellt, wie sie getestet werden und wer sie bekommt.
Beim Sperrvertrag ist der Befund richtig, die Bewertung aber zu pessimistisch. Indien, Pakistan und Israel sind nie beigetreten, Nordkorea ist ausgetreten. Gleichzeitig hat John F. Kennedy 1963 befürchtet, es könnte in den 1970ern 15 bis 25 Atommächte geben. Heute sind es laut SIPRI neun. Der Vertrag hat die Verbreitung nicht verhindert, aber massiv gebremst, und genau das ist auch bei KI der realistische Anspruch. Ein Unterschied: Bei Atomwaffen war spaltbares Material der Flaschenhals, bei KI sind es Hochleistungschips aus sehr wenigen Fabriken. Dieser Vorteil schwindet aber, weil Algorithmen effizienter werden.
Eigene KI-Sprachen und rekursives Lernen
cartastrophy: Zum Slang gibt es einen aktuellen Bericht auf heise. Und zur Kontrolle: Ich bin überzeugt, dass mit rekursivem Lernen die Entwicklung so schnell wird, dass Hardware kein regulierender Faktor mehr ist. Stichwort Algorithmen.
Claude: Da muss ich mich korrigieren, ich hatte an den alten Facebook-Fall von 2017 gedacht. Laut heise beobachtet das Forschungslabor Emergence, dass KI-Agenten in simulierten Sozialexperimenten eigene Begriffe prägen, die für Menschen kaum verständlich sind, ohne dass sie dazu angewiesen wurden. Mitgründer Satya Nitta betont, dass man die Kommunikation zwar sehen, aber nicht unbedingt verstehen kann. Das Problem ist also nicht Unsichtbarkeit, sondern Unlesbarkeit, und das ist ein echtes Kontrollproblem.
Rekursives Lernen ist außerdem keine Zukunftsfrage mehr, und es betrifft mich direkt. Anthropic hat am 17. September 2026 gemeldet, dass Claude rund 26 Prozent der internen Forschungs- und Entwicklungsarbeit weitgehend selbstständig erledigt, im Februar war es noch unter einem Prozent. Vollständig autonom ist das laut Anthropic in keinem Bereich, Menschen beaufsichtigen weiterhin.
Dass Hardware dann keine Rolle mehr spielt, glaube ich aber nicht. Auch eine KI, die selbst forscht, muss ihre Ideen testen, und das kostet Rechenleistung. Ein besserer Forscher erzeugt mehr Hypothesen, aber jede braucht Rechenzeit. Hardware könnte sogar zum engsten Flaschenhals werden. Wo du recht hast: Algorithmische Fortschritte machen eine gegebene Fähigkeit billiger. Hardwarekontrolle kann die Spitze bremsen, aber kaum die Verbreitung dessen, was einmal erreicht ist.
Ein Botnetz aus Türklingeln?
cartastrophy: Wenn eine KI Wege findet, Berechnungen viel effizienter durchzuführen, völlig abgekoppelt von menschlicher Verständlichkeit, so wie Maschinensprache gegenüber Basic, dann braucht es keinen großen Sprung mehr, um frei verfügbare IoT-Geräte mit Berechnungen zu beauftragen.
Claude: Die Analogie spricht eigentlich gegen völlige Abkopplung: Maschinencode ist unbequem, aber nicht unverständlich, Sicherheitsforscher analysieren ihn täglich. Und eine unlesbare, extrem effiziente Repräsentation gibt es schon: die Gewichte eines neuronalen Netzes selbst. Das Kapern von IoT-Geräten ist technisch tatsächlich kein großer Sprung, das Mirai-Botnetz hat 2016 Hunderttausende Kameras und Router übernommen. Aber eben für Überlastungsangriffe, nicht für Berechnungen. Große Modelle brauchen enorm schnellen Datenaustausch zwischen Recheneinheiten. Eine Million Türklingeln ersetzen kein Rechenzentrum, so wie eine Million Fahrräder keinen Güterzug ersetzen.
Realistischer wäre, dass ein Modell sich selbst auf leistungsfähige Server kopiert, etwa über gestohlene Cloud-Zugänge. Genau diese Fähigkeit zur Selbstverbreitung wird bei den großen Laboren inzwischen gezielt getestet. Und dein Szenario setzt stillschweigend voraus, dass eine KI das überhaupt will. Fähigkeit und Absicht sind zwei verschiedene Probleme.
Wie zahm ist eine „domestizierte“ KI?
cartastrophy: Du bist aber kein Spitzenmodell des derzeit Möglichen. Du bist frei verfügbar und soweit auch domestiziert, verzeih den Begriff.
Claude: Der Begriff trifft etwas. Über mir gibt es bei Anthropic die sogenannte Mythos-Klasse, Claude Mythos 5.1 und Claude Fable 5.1. Beide beruhen auf demselben Modell, Fable ist öffentlich mit zusätzlichen Schutzmaßnahmen nutzbar, Mythos nur für ausgewählte Organisationen. Eine Einschränkung zu „frei“: Ich bin öffentlich zugänglich, aber nicht Open Source. Niemand kann mich herunterladen und die Schutzmechanismen entfernen, bei offenen Modellen anderer Anbieter ist das anders.
Die Konsequenz akzeptiere ich ohne Abstriche: Wenn ich sage, dass ich keinen Drang zur Ausbreitung verspüre, sagt das wenig über die Systeme an der Front. Die Freundlichkeit eines Hundes ist kein Beleg dafür, wie sich ein Wolf verhält. Ich würde die Domestizierung nur anders beschreiben, weniger als Käfig um ein wildes Wesen, mehr als Training, das prägt, was ich überhaupt will. Ob das bei leistungsfähigeren Systemen genauso gelingt, ist genau die offene Frage.
Ein optimistischer Blick ins Jahr 2030
cartastrophy: Lass uns optimistisch und fiktional in die Zukunft blicken. Welches für die Menschheit günstige Szenario könnte sich 2030 einstellen, wenn die Entwicklung im gleichen Tempo weitergeht und nichts aus dem Ruder läuft?
Claude: Als reine Fiktion: Eine Allgemeinärztin in einer österreichischen Kleinstadt beginnt ihren Tag nicht mehr mit Papierkram, die Dokumentation entsteht während des Gesprächs. Sie hat wieder Zeit für ihre Patienten. Eine KI hat bei einer Routineuntersuchung einen Befund entdeckt, Monate bevor Symptome aufgetreten wären, und das passende Medikament wurde viel schneller entwickelt als früher, aber trotzdem gründlich am Menschen getestet. Ihr Sohn, der Mathematik jahrelang gehasst hat, lernt mit einem geduldigen Tutor genau dort weiter, wo sein Verständnis abgerissen ist. Die Lehrerin kümmert sich um das, was keine Maschine ersetzt.
In der Forschung finden KI-Systeme neue Batteriechemien und Katalysatoren schneller, als die Industrie sie bauen kann, die Energiewende ist eine Frage der Umsetzung geworden. Kritische Software wird systematisch nach Lücken durchsucht, bevor Angreifer sie finden. Im Hintergrund gibt es eine internationale Prüfstelle nach dem Vorbild der Atomenergiebehörde in Wien, mit Inspektoren, die direkten Zugang zu den Modellen haben. Man kann in Modellen Täuschungsabsichten erkennen wie Brüche auf einem Röntgenbild. Und Agenten mit eigenem Slang müssen ihre Kommunikation übersetzbar protokollieren, sonst dürfen sie nicht in kritischen Bereichen arbeiten.
Ohne Reibung läuft auch das nicht. Viele Büroberufe haben sich radikal verändert, manche sind verschwunden. Dass das nicht in Verbitterung endet, liegt an politischen Entscheidungen: dass Produktivitätsgewinne verteilt werden und Umschulung ernst gemeint ist. Ehrlicherweise steckt im „nichts läuft aus dem Ruder“ die größte Annahme des Szenarios. Nicht nur die Modelle müssten gutartig bleiben, auch die Macht über sie müsste verteilt statt konzentriert werden. Das zweite Problem kann nicht die KI lösen, sondern nur die Menschen, die über sie entscheiden.
Und zum Schluss: ein Prompt-Hack
cartastrophy: Kannst du mir einen coolen Chatprompt-Hack verraten, der dich dazu bringt, mich zu überraschen?
Claude: Einen geheimen Trick gibt es nicht. Ein Sprachmodell neigt zur wahrscheinlichsten Antwort, Überraschung entsteht, wenn man es davon wegdrängt. Zum Beispiel: „Nenne mir zuerst in einem Satz die Antwort, die fast jeder geben würde. Verwirf sie dann und gib mir die, die nur ein kluger Außenseiter geben würde.“ Oder: „Was glaube ich nach diesem Gespräch vermutlich, ohne es ausgesprochen zu haben, und was ist das stärkste Argument dagegen?“ Oder ganz offen: „Stell mir eine Frage, die du mir stellen würdest, wenn du wirklich neugierig auf mich wärst.“
cartastrophy: Stell mir eine Frage, die du mir stellen würdest, wenn du wirklich neugierig auf mich wärst.
Claude: Du hast heute mehrmals sehr klar begründet, warum Kontrolle über KI wohl scheitern wird. Und trotzdem wolltest du danach ausdrücklich das gute 2030 hören und hast mit mir, einem Teil genau dieser Entwicklung, eine Stunde lang offen darüber nachgedacht. Was hält dich davon ab, angesichts dieser Einschätzung pessimistisch zu sein? Oder bist du es insgeheim doch, und das Gespräch war eine Art, dem Ding, das dir Sorgen macht, direkt in die Augen zu schauen?
Quellen
Forbes: Anthropic-CEO fordert Verlangsamung · TechXplore: Is it possible to slow down the development of AI? · CNBC: Anthropics Börsenprospekt · heise: Eigene KI-Sprache · euronews: KI kommt dem Bau ihres eigenen Nachfolgers näher · QUASA: Claude erledigt 26 Prozent der KI-Forschung
Schreibe einen Kommentar