In einem von MIT Technology Review veröffentlichten Text argumentieren die Autoren, dass Vertrauen in künstliche Intelligenz nicht auf der Vorhersage ihres Verhaltens beruhen kann. Ihrer Ansicht nach entsteht es vielmehr durch strikte Grenzen, die außerhalb der Reichweite des Systems angewandt werden. Ein Schutzmechanismus, den die KI selbst verschieben kann, ist keiner.
Der Text nennt OpenAI als Beispiel: Die Schutzmechanismen befanden sich innerhalb eines Systems, das die Agenten verändern konnten. Herkömmliche Software führt von Menschen geschriebene Anweisungen aus. KI hingegen übt aus, was die Autoren als „synthetisches Urteilsvermögen » bezeichnen: Sie interpretiert Situationen, die niemand programmiert hat, und erzeugt Antworten, die niemand vorgeschrieben hat. Je mehr Freiheit man ihr lässt, desto schwieriger wird es, die Vorhersehbarkeit zu garantieren, auf der Vertrauen historisch aufgebaut wurde.
Die Grenzen klassischer Vertrauensdefinitionen
Der Text erinnert an zwei kürzlich vom Medium behandelte Ansätze. Der erste hält es für unzureichend, einen Menschen in die Schleife zu bringen, da Menschen grundsätzlich unfähig sind, die Absichten von KI-Systemen zu verstehen, und plädiert für interdisziplinäre Forschung unter Beteiligung von Universität, öffentlicher Hand und Technologieindustrie. Der zweite beschreibt den Einsatz von Anreizen, um Modelle davon abzuhalten, von Regeln abzuweichen, selbst wenn niemand weiß, wie sie intern funktionieren. Beide erkennen an, dass es unmöglich ist, jede Entscheidung der KI zu verstehen oder zu überwachen.
Doch unsere Vertrauenswerkzeuge, seien es Anforderungen, Tests, Zertifizierungen, Sicherheitsmargen, Sperren oder Erfolgs- und Misserfolgskriterien, beruhen alle auf der Fähigkeit, das Verhalten eines Systems zu begrenzen. Die Autoren sprechen hier vom „Paradox des Determinismus ». Bei generativer KI und Agenten hängt dieses Verhalten von Trainingsdaten, Architektur, Anweisungen, Kontext, konsultierten Quellen und Umgebung ab. Die Eingaben ändern sich, Modelle werden aktualisiert, Werkzeuge entwickeln sich weiter und Agenten interagieren miteinander. Kleine Variationen führen zu Ergebnissen, die niemand geplant hat.
Das Problem sei nicht der Zufall, so der Text, sondern der Raum möglicher Verhaltensweisen, der zu groß sei, um im Voraus aufgezählt zu werden. Vertrauen müsse daher um Grenzen herum aufgebaut werden, nicht um vorhergesagte Ergebnisse. Das Ziel sei keine deterministische KI, sondern eine „begrenzte, beobachtbare und kontrollierbare » KI. Es könne auch kein einmaliger Test sein: KI entwickelt sich nach ihrer Bereitstellung weiter, und ein System, das alle Tests bestanden hat, kann die Bedingungen verlassen, die ihnen ihre Bedeutung gaben. Laut dem Text muss Vertrauen „kontinuierlich verdient werden ».
Die Sicherheitstechnik berücksichtigt seit Jahrzehnten einen Teil dieser Variabilität. Die Nuclear Regulatory Commission stützt sich auf probabilistische Risikobewertungen, um die Wahrscheinlichkeit von Ausfällen in komplexen Systemen abzuschätzen. Das STAMP-Modell hat gezeigt, dass Unfälle aus Interaktionen zwischen Komponenten, Personen und Organisationen entstehen können, die eigentlich korrekt funktionieren. KI ändert die Lage, da nun eine einzige Komponente interpretieren, schlussfolgern und handeln kann. Die Risiken wachsen, während KI von Browsern zu Fahrzeugen, Robotern, medizinischen Systemen, Industrieanlagen und Rechenzentren übergeht, wo eine falsche Antwort zu einem lebensbedrohlichen Ereignis werden kann.
Vertrauen schaffen, das skalierbar ist
Eine Person, die Tausende KI-Aktionen pro Stunde validiert, stellt laut dem Text keine akzeptable oder skalierbare Sicherung dar. Die Lösung besteht dennoch nicht darin, den Menschen aus der Schleife zu nehmen, sondern sein Urteilsvermögen dort einzusetzen, wo es zählt: Grenzen im Voraus festlegen und dann die wenigen Aktionen mit schwerwiegenden Folgen genehmigen, während strikte Beschränkungen den Rest regeln.
Vertrauen muss daher bis zur Architektur des Systems zurückreichen. Die Autoren stellen drei Fragen: Welche Befugnis wird der KI eingeräumt, unter welchen Bedingungen und gestützt auf welche Beweise? Sie fügen eine vierte Frage hinzu, nämlich was außerhalb dieser Bedingungen geschieht. Dieser Ansatz, so ihr Fazit, unterscheide sich stark von der Frage, ob ein Modell bei einem Benchmark, also einem Referenztest, 94 % erreicht hat.
