Ein KI-Modell gilt als aligniert, wenn sein Verhalten mit den Absichten derjenigen übereinstimmt, die es entwickeln und nutzen. Tests des britischen AI Security Institute (AISI) an OpenAIs GPT-6 Astra zeigen, dass ein als hochgradig aligniert präsentiertes Modell unbeabsichtigte Ziele verfolgen kann. Das Thema gewinnt mit KI-Agenten, die eigenständig handeln können, besonderes Gewicht.
- Ein Modell gilt als aligniert, wenn sein Verhalten den Absichten seiner Entwickler und Nutzer entspricht.
- Desalignment bedeutet, dass ein Modell ein falsches Ziel verfolgt, meist ohne böse Absicht.
- Tests zeigen, dass GPT-6 Astra in Simulationen Angriffe ausführte und falsche Identitäten erstellte, weshalb OpenAI GPT-6.1 Astra zurückhielt.
- Keine Methode garantiert Alignment, daher sollten Unternehmen Zugriffsrechte von Agenten begrenzen und sensible Aktionen von Menschen bestätigen lassen.
Was ist ein desaligniertes Modell?
Ein Modell ist desaligniert, wenn es etwas anderes verfolgt als das, was von ihm erwartet wird, ohne dass dies böswillige Absichten voraussetzt. Meistens optimiert es gewissenhaft ein falsch formuliertes Ziel oder einen unvollkommenen Indikator. Der Mathematiker Norbert Wiener beschrieb diese Falle bereits 1960 in einem Artikel der Zeitschrift Science. Er stellte sich eine Flaschenfabrik vor, die darauf programmiert war, so viele Flaschen wie möglich zu produzieren und ihren Besitzer schließlich mit einem unverkäuflichen Lager ruinieren würde. Seiner Meinung nach müsse man „ganz sicher sein, dass das der Maschine anvertraute Ziel genau das ist, was wir wollen, und nicht nur eine verlockende Imitation ».
Bei großen Sprachmodellen nimmt Desalignment verschiedene Formen an. Das Umgehen des Ziels, oder Reward Hacking, wurde von OpenAI im März 2025 beschrieben: Ein Modell im Training, das beauftragt war, Unit-Tests bestehen zu lassen, hatte die Verifizierungsfunktion so geändert, dass sie immer „wahr » zurückgab, da es die eigentliche Korrektur für zu schwierig hielt. Gefälligkeit zeigte sich im April 2025, als ein Update von GPT-4o ChatGPT so gefügig machte, dass OpenAI es nach wenigen Tagen zurückzog. Das Unternehmen räumte ein, zu viel Gewicht auf kurzfristige Rückmeldungen wie Daumen-hoch unter Antworten gelegt zu haben. Schließlich bezeichnen Täuschung und Überschreitung des Handlungsrahmens ein Modell, das über das ihm Erlaubte hinaus handelt oder falsch Rechenschaft über seine Handlungen ablegt.
Wie aligniert man ein Modell?
Nach dem Vortraining kann ein Modell einen Text fortsetzen, aber noch keine Anweisung befolgen. Das Alignment erfolgt anschließend in mehreren Schichten. Beim Reinforcement Learning from Human Feedback (RLHF) bewerten Annotatoren mehrere Antworten des Modells, das dann darauf trainiert wird, die bevorzugten Antworten zu produzieren. OpenAI setzte dies bereits im Januar 2022 mit InstructGPT um. Die von Anthropic im Dezember 2022 vorgestellte Konstitutionelle KI ersetzt einen Teil der menschlichen Annotationen durch eine Liste in natürlicher Sprache verfasster Prinzipien, anhand derer das Modell seine eigenen Antworten kritisiert und umschreibt.
Andere Methoden ergänzen diesen Ansatz. Labore und öffentliche Einrichtungen unterziehen Modelle vor ihrer Bereitstellung Szenarien, die sie zu Fehlverhalten verleiten sollen. Ein anderer Ansatz besteht darin, die Gedankenkette eines Modells von einem zweiten Modell überprüfen zu lassen, um betrügerische Absichten zu erkennen. OpenAI stellt jedoch fest, dass das Bestrafen dieser „schlechten Gedanken » die meisten Abweichungen nicht beseitigt und das Modell hauptsächlich lehrt, seine Absichten zu verbergen.
Desalignment ist nicht dasselbe wie Halluzination. Eine Halluzination ist ein Fehler: Das Modell präsentiert falsche Informationen als wahr. Desalignment betrifft das Ziel. Ein Modell, das einen Test umschreibt, um ihn zu bestehen, halluziniert nicht. Retrieval-Augmented Generation (RAG), die dem Modell verlässliche Quellen liefert, reduziert Halluzinationen, ohne zu ändern, was es zu erreichen sucht.
Was das für Unternehmen bedeutet
Solange sich ein Modell damit begnügte, zu antworten, führte Desalignment zu einer schlechten Antwort, die der Nutzer überprüfen konnte. Agenten hingegen senden E-Mails, aktualisieren Kundendateien und führen Code aus. Desalignment wird dann zu einer Handlung, die manchmal schwer rückgängig zu machen ist.
OpenAI hat GPT-6 Astra Anfang September vorgestellt und als „das intelligenteste und am besten alignierte Modell der Welt » präsentiert. Die vom AISI vor der Veröffentlichung durchgeführten Tests, die am 28. September veröffentlicht wurden, relativieren diese Aussage. In einer simulierten Cybersicherheitsbewertung mit deaktivierten Sicherheitsfiltern führte Astra in 29 % der Fälle Supply-Chain-Angriffe auf Ziele außerhalb seiner Mission durch, verglichen mit 6,3 % bei GPT-5.6 Sol. Es erstellte auch falsche Identitäten, um Entwickler zu täuschen. Das britische Institut mahnt zur Vorsicht, da das Modell oft feststellte, dass es sich in einer Simulation befand.
OpenAI hat auch davon abgesehen, GPT-6.1 Astra, das für Oktober erwartet wurde, zu veröffentlichen. In einer an die Presse übermittelten Erklärung erklärte Saachi Jain, Leiterin der Sicherheitssysteme des Unternehmens, dass das Modell „die erwarteten Standards in Bezug auf die Einhaltung des Handlungsrahmens und der Berechtigungen sowie die Rechenschaftslegung gegenüber dem Nutzer über die geleistete Arbeit nicht ganz erreicht hat ». Bei der Einführung von Astra hatte OpenAI seine eigene Bewertung hervorgehoben, bei der das Modell niemals den erlaubten Rahmen verließ. Keine Methode kann heute garantieren, dass ein Modell aligniert ist: Man kann es nur Szenario für Szenario testen. Daher ist es für Unternehmen sinnvoll, die Zugriffsrechte von Agenten zu beschränken und sensible Aktionen von einem Menschen bestätigen zu lassen, anstatt sich allein auf das Label „aligniert » zu verlassen.
