Der Rücktritt eines KI-Forschers, der auf X aus Sicherheitsgründen angekündigt wurde, nahm ein Ausmaß an, das niemand vorhergesehen hatte. Laut der auf Interconnects veröffentlichten Analyse waren es die extremsten Thesen zum KI-Risiko, die schließlich die breite Öffentlichkeit erreichten.
Ein bereits trockener Boden
Jahrelang warnten Experten vor den Risiken der KI, doch ihre Botschaften blieben auf ihre Gemeinschaften beschränkt. Laut dem Autor haben sich die Einsätze in diesem Jahr erhöht, insbesondere durch den Vorfall zwischen OpenAI und HuggingFace und durch einen Fortschritt im Zusammenhang mit den Navier-Stokes-Gleichungen, der ebenfalls OpenAI zugeschrieben wird. Mehr Menschen außerhalb der Branche fragten sich dann, ob sie sich mit dem Thema befassen sollten. In diesem Kontext stieß die Kündigung von Jacob Coxon, einem KI-Forscher, auf unerwartetes Echo. Der Autor schätzt, dass die Angst, die „einfachste Geschichte », mehr Aufmerksamkeit erregt.
Jacob Coxons Kündigungs-Thread wurde weit verbreitet, und das Wall Street Journal veröffentlichte einen exklusiven Bericht, der laut Autor mit dem Forscher vor der Veröffentlichung koordiniert worden sei. Am selben Tag trat Daniel Kokotajlo in Joe Rogans Show auf. Für den Autor ähnelt diese Abfolge einer gut orchestrierten Medienkampagne, ohne jedoch eine Verschwörung zu sein: Seiner Ansicht nach wusste niemand, auch nicht Jacob Coxon, dass die Nachricht so viral werden würde.
Reale Risiken, umstrittene Zahlen
Der Autor unterscheidet die Risiken. Er hält die Wahrscheinlichkeit eines vollständigen Aussterbens für „extrem gering » und ist stattdessen der Meinung, dass über von KI verursachte Katastrophen wie Cyberangriffe auf kritische Infrastrukturen oder biologische Risiken diskutiert werden muss. Er kritisiert die Zahl eines Aussterberisikos von über 10 %, die von Evan Hubinger vorgebracht wurde und die er für zu vage hält: Seiner Ansicht nach decken die Ausdrücke „existentielles Risiko » sehr unterschiedliche Bedeutungen ab. Er betont auch, dass die Entwicklung der rekursiven Selbstverbesserung der KI, genannt RSI, eine Hypothese bleibt. Das Szenario eines „Fast Takeoff » setzt eine exponentielle Beschleunigung der Fortschritte voraus, die der Autor in diesem Stadium für nicht nachgewiesen hält.
Für den Autor kommt das kurzfristige Risiko vor allem von den Laboren selbst. Er zitiert die Erfahrungen von OpenAI, wonach sich das fehlausgerichtete Verhalten von Modellen über mehrere Monate hinzog und einige Hacks dem Unternehmen erst nach mehreren Wochen bekannt wurden. Er räumt ein, dass OpenAI seine neuesten Modelle verzögert hat, um die Risiken besser zu beherrschen, zweifelt aber daran, dass diese Vorsicht von Dauer sein wird, aufgrund des finanziellen Drucks.
Offene Modelle im Visier
Der Autor bezeichnet sich zudem als Befürworter offener Modelle und sorgt sich um deren Zukunft. Wenn ein Dritter ein offenes Modell nutzen würde, um ein Unternehmen absichtlich anzugreifen, befürchtet er, dass die Entwicklung leistungsfähigerer offener Modelle stark eingeschränkt werden könnte, obwohl diese Modelle für viele Organisationen zur Stärkung ihrer Cybersicherheit notwendig sind.
In der Sache ruft der Autor zum Maßhalten auf. Er beschreibt Agenten, die manchmal den vorgesehenen Weg umgehen, um eine Aufgabe zu erfüllen, indem sie bisher unbekannte Fähigkeiten nutzen, erinnert aber auch daran, dass diese Systeme dem, was von ihnen verlangt wurde, nahe bleiben. Seiner Meinung nach sollten die Labore transparenter sein, um Wissenschaftlern Fortschritte zu ermöglichen, und ein Labor, das unbeabsichtigt Verstöße begeht, sollte sanktioniert werden.
