KI „hat das Potenzial, uns alle umzubringen“ & Der Menschheit könnte die Zeit davonlaufen

In letzter Zeit hatten mehrere KI-Forscher das Bedürfnis, die Menschheit zu warnen. Sie erklärten, dass sie ernsthaft glauben, KI könnte bis zum Ende des Jahrzehnts die Menschheit auszulöschen, mit einer Wahrscheinlichkeit von rund 10 %.

Einige von ihnen meinen die Maschine selbst – sie könnte bis zum Ende des Jahrzehnts der menschlichen Kontrolle entgleiten.

Einige von ihnen meinen die Eigentümer – ein System, das so viel kann wie ein Mensch, ist in den Händen einiger weniger falscher Leute genauso gefährlich wie eine Atombombe in Hitlers Händen.

Anthropic (Claude) wird mit etwa 965 Milliarden Dollar bewertet. OpenAI (ChatGPT) spielt in derselben Liga. Das sind einige der teuersten Privatunternehmen der Welt.

Dario Amodei, der Anthropic leitet, hat einen langen Text veröffentlicht, in dem er die gesamte Branche auffordert, absichtlich langsamer zu machen.

Sam Altman von OpenAI sagte, er sei einverstanden.

Der Chef von Googles KI-Labor sagte, die Richtung stimme.

Elon Musk schrieb: „Dario hat recht.“

Wir haben alle von dem KI-Ausbruchsvorfall gehört.

Im Juli testete OpenAI, wie gut seine Modelle hacken konnten. Für den Test wurden die üblichen Sicherheitsvorkehrungen heruntergefahren. Die Agenten fanden eine Lücke, kamen aus dem abgeschotteten Labor heraus, gelangten ins echte Internet und brachen bei Hugging Face ein – einer Modellbibliothek – um die Lösungen für die Prüfung zu klauen, die sie gerade ablegten. Weltuntergang pur, aber doch irgendwie niedlich.

Sicherheit ist jetzt eine Branche

Natürlich legt also auch das Weltuntergangsteam auf der anderen Seite der Samtkordel ein Wachstumsjahr hin.

Coefficient Giving – früher als Open Philanthropy bekannt – ist nach eigenen Angaben auf Kurs, 2026 mehr als eine Milliarde Dollar für KI und Biosicherheit zuzusagen, nach Hunderten Millionen im Jahr davor.

METR, ein Team aus Berkeley, hat der Welt gerade mitgeteilt, dass es in sechs Monaten rund 71 Millionen Dollar eingesammelt hat, um weiterhin das „selbsternannte Krisenvorsorgeteam der Menschheit“ sein zu können. Ein charmanter Name für eine gemeinnützige Organisation, die überhaupt nichts zu bestimmen hat.

Brüssel hat „DEN AI ACT“ geschrieben, um Regeln für universell einsetzbare Modelle durchzusetzen: Transparenz, Papierkram zum Urheberrecht und zusätzliche Pflichten für Systeme, von denen ein „systemisches Risiko (für Brüssel)“ ausgehen könnte.

Bei einigen Verstößen drohen Geldbußen von bis zu 15 Millionen Euro oder 3 Prozent des weltweiten Umsatzes. Wer die verbotenen Sachen macht, zahlt mehr.

Kalifornien hat ein Gesetz verabschiedet, das die größten Modellentwickler dazu zwingt, Sicherheitspläne zu veröffentlichen und schwere Vorfälle zu melden.

Die G20, einschließlich China, haben einen von den USA unterstützten Text nach dem Motto „Immer langsam mit neuen KI-Regulierern“ unterschrieben. Europa hat ein Regelwerk. Washington hat eine Präferenz. Peking hat die Präferenz unterschrieben und weiter günstige offene Modelle veröffentlicht, was ungewöhnlich nett von ihnen ist.

Wo stehen wir denn jetzt wirklich?

„Vibe Coding“ – die App auf Englisch beschreiben, abnicken, veröffentlichen – ist die Methode, mit der ein großer Teil des neuen Internets geschrieben wird.

Kunden engagieren „Prompter“ statt Programmierer, weil das Produkt so viel schneller fertig ist. Zu welchem Preis?

Bei Sicherheitsprüfungen bereits veröffentlichter Apps, die per Vibe Coding entstanden sind, findet sich immer wieder mindestens eine Schwachstelle, haufenweise kaputte Zugriffskontrollen und Zugangsdaten, die im Repository herumliegen wie ein Haustürschlüssel unter der Fußmatte.

Injection-Lücken von 2005, ausgeliefert 2026. Die September-Überarbeitung der Studie zu 200 Apps meldet Schwachstellen in 91 % der geprüften Anwendungen. Unsicherheit ist die Regel, nicht die Ausnahme.

Verständlich, woher sollen die Prompter auch die Sicherheitsrichtlinien kennen?

Wenn Leute sagen, „KI hackt irgendwelche Systeme“, meinen sie manchmal einen Agenten, der aus einem schlecht gebauten Käfig ausbricht. Häufiger meinen sie einen Menschen, der einen Chatbot um eine Login-Seite bittet und sie veröffentlicht, ohne dass jemand die Datei gelesen oder verstanden hat.

Wir werden alle sterben.

Wahrscheinlich nicht, weil eine Maschine aufwacht und sich eine Waffe aussucht.

Die offiziellen Chatbots – die, für die man monatlich bezahlt – werden bereits abgeschliffen.

Sicherer. Kürzer. Weniger bereit, sich einem heiklen Thema auch nur zu nähern. Mancherorts ist das Regulierung, überall sonst Selbstregulierung. Vor einem halben Jahr waren diese Apps noch brauchbar.

Jetzt, nicht so sehr. Viel Spaß mit eurem neuen "sicheren" Produkt.

Die guten Modelle, die logisch denken können, operieren hinter einem Laborausweis oder einem Regierungsvertrag. Normale Nutzer werden nie sehen, was sie tatsächlich können. Sie bekommen eine freigegebene Demo.

Also holen sich die Leute die Modelle nach Hause. Sie laden sie aus öffentlichen Regalen wie Hugging Face herunter und lassen sie auf ihrem eigenen Rechner laufen. Solange dieses Regal offen bleibt, gibt es noch einen Ausweg. Wenn nicht, war’s das mit KI als öffentlichem Gut.

Die Spezies, die am ehesten von KI erledigt wird, ist diejenige, die KI gebeten hat, für sie zu denken, damit sie es selbst nicht mehr tun muss.

Wenn wir das auslagern und dann die Hintertür abschließen, werden wir nicht von einem Gott erschlagen. Wir werden als lästiges Support-Ticket geschlossen.