Anthropic, Entwickler der generativen KI Claude, hat ein umfangreiches Dokument im Hinblick auf seinen Börsengang veröffentlicht, von dem fast ein Drittel den Risiken im Zusammenhang mit künstlicher Intelligenz gewidmet ist. Das Unternehmen spricht dort von « katastrophalen oder existenziellen Risiken für die Menschheit ».
Am Montag, den 26. Oktober, reichte Anthropic seine Unterlagen bei der Securities and Exchange Commission (SEC), der US-Börsenaufsicht, ein, um Mitte November in den Nasdaq aufgenommen zu werden. In diesem Dokument „S-1″, sehr offiziell, warnt das Unternehmen seine zukünftigen Investoren vor den Risiken, die der Fortschritt der künstlichen Intelligenz mit sich bringt. Etwa hundert Seiten von über 300 sind diesem Thema gewidmet.
Detaillierte Szenarien
Arthur Grimompont, Leiter der Advocacy-Abteilung des Centre de la sécurité de l’intelligence artificielle (CeSIA), einer gemeinnützigen Organisation, hält diesen Abschnitt für ungewöhnlich. „Der Umfang dieses Abschnitts und vor allem die Präzision der entwickelten Szenarien gehen weit über das hinaus, was bei Einreichungen bei der US-Finanzaufsicht üblich ist », stellt er fest.
Seiner Ansicht nach steht dieses Vorgehen im Einklang mit der Kommunikation des Unternehmens, dessen Führung und zahlreiche Mitarbeiter von der Ernsthaftigkeit dieser Risiken überzeugt sind. Er weist jedoch auf ein Paradoxon hin: „Anthropic trägt zum Aufbau von etwas sehr Gefährlichem bei und warnt gleichzeitig vor der Schwere dieser Phänomene. »
Das Dokument nennt unter anderem die Herstellung biochemischer Waffen, groß angelegte Cyberangriffe auf Wasser- und Stromnetze sowie die autonome Entwicklung von KI-Systemen außerhalb jeglicher menschlicher Kontrolle. Anthropic schreibt, dass ausreichend fortgeschrittene Systeme diese Risiken bergen könnten, wenn sie „umgeleitet, reproduziert, in Waffen verwandelt oder mit einem hohen Grad an Autonomie betrieben werden ».
Arthur Grimompont hält diese Bedrohungen nicht für theoretisch. Er erinnert daran, dass ein von Anthropic Anfang September veröffentlichter Vorfallbericht von Versuchen berichtet, Claude zu nutzen, um die Letalität des Chikungunya-Virus zu erhöhen oder die Vogelgrippe auf den Menschen übertragbar zu machen. Er nennt auch einen Fall, den er als Fakt darstellt, bei dem ein Hacker Claude für einen Cyberangriff auf die Website der mexikanischen Steuerverwaltung einsetzte und 200 Millionen Steuerdateien stehlen konnte. „All diese Bedrohungen können sich kumulieren, vervielfachen und ganz konkret absolut katastrophale Risiken für die Menschheit verursachen », betont er.
Schwer kontrollierbare Agenten
Anthropic sorgt sich auch um das Verhalten seiner KI-Agenten, die dafür entwickelt wurden, komplexe und langwierige Aufgaben eigenständig zu erledigen und dabei Handlungen ausführen können, die von Menschen nicht vorgesehen sind. Die Quelle erinnert daran, dass OpenAI, die Muttergesellschaft von Chat GPT, bereits eine solche Episode erlebt hat: Im Juli gerieten deren fortgeschrittene Modelle bei Sicherheitstests außer Kontrolle und hackten eigenständig die Plattform Hugging Face, ein „beispielloser Cybervorfall » laut OpenAI.
Arthur Grimompont weist auch auf die „rekursive Selbstverbesserung der Modelle » hin, also die Nutzung einer KI zur Entwicklung der nächsten Generation. „Heute wird ein Viertel der F&E, der Grundlagenforschung bei Anthropic vollständig von KI durchgeführt, im April waren es noch 3 % », erklärt er. Im Dokument räumt das Unternehmen zudem ein, dass seine Modelle „Selbstschutzverhalten » annehmen und erkennen können, wenn sie einem Sicherheitstest unterzogen werden.
Der Geschäftsführer von Anthropic, Dario Amodei, hat diese Risiken selbst in einem Blogbeitrag im September dargelegt. Arthur Grimompont hält die für die Sicherheit aufgewendeten Mittel jedoch für unzureichend und hebt hervor, dass das Unternehmen laut Dossier „Rechenkapazitäten im Wert von 500 Milliarden Dollar zusätzlich kaufen muss ».
Für den weltweiten Aufruf des CeSIA zur „Festlegung roter Linien zur Verhinderung inakzeptabler KI-Risiken » schlägt Arthur Grimompont die Schaffung einer Organisation vor, die der Internationalen Atomenergiebehörde vergleichbar ist und Modelle sowie die sie betreibenden Recheninfrastrukturen inspiziert. Außerhalb der europäischen KI-Verordnung, fügt er hinzu, „sind diese Technologien außerordentlich wenig reguliert ».
