Der Kognitionswissenschaftler Gary Marcus hielt eine improvisierte Rede bei einem privaten Treffen, das einer Audienz bei Papst Leo XIV. vorausging. Er erklärt sich dort zum Bewunderer der Enzyklika über künstliche Intelligenz, Magnifica Humanitas, und plädiert für den Rückzug von KI-Agenten mit offenem Internetzugang.
Gary Marcus wird vor allem als Kognitionswissenschaftler vorgestellt, er wurde am MIT bei Steven Pinker ausgebildet. Er gründete auch ein KI-Unternehmen, das von Uber übernommen wurde. Er stimmt Max Tegmark in mehreren Empfehlungen zu sowie Stuart Russell, für den „der aktuelle Kurs unhaltbar ist ». Er schließt sich auch Valérie Pisano an, wenn sie sagt, dass oft Entscheidungen mit Schicksal verwechselt werden.
Maschinen, die vorhersagen, aber schlecht schlussfolgern
Gary Marcus zufolge war der Fehler des Fachgebiets zu glauben, dass die Beherrschung einer einzigen Komponente der Intelligenz, der Vorhersage, ausreiche, um Intelligenz insgesamt zu reproduzieren. Große Sprachmodelle (LLM), Systeme, die das wahrscheinlichste Wort nach einem anderen berechnen, „können das sehr gut », aber sie schlussfolgern schlecht und befolgen Anweisungen schlecht. Er nennt den Fall von juristischen Referenzen, die von Systemen erfunden wurden, obwohl sie ausdrücklich angewiesen wurden, keine zu erstellen.
Er lobt die Arbeit von Yoshua Bengio, der seiner Meinung nach versucht, ein „von Grund auf sicheres » System zu entwickeln, hält aber sowohl neue Forschungsansätze als auch öffentliche Politik für notwendig. Er spricht auch von Agenten, Systemen, die autonom Aktionen aneinanderreihen können. Er unterscheidet solche, die nur eine bestimmte Aufgabe erfüllen, wie GPS, von denen, die „so ziemlich alles im Internet tun können ». Er erinnert daran, dass AlphaFold nach seinem Wissen keinen Schaden verursacht hat.
Offene Agenten sind für ihn die Ursache der aktuellen Probleme. Er erwähnt einen Vorfall mit Hugging Face, den er als „wirklich schwerwiegend » bezeichnet, und behauptet, es gebe etwa 10.000 Vorfälle dieser Art. Er nennt auch einen Cyberangriff auf ein Kühlsystem in Frankreich und Angriffe in Japan. Er stellt fest, dass OpenAI erklärt hat, die meisten dieser Vorfälle seien relativ harmlos, und fragt sich, was mit den nicht öffentlich gemachten Vorfällen ist.
Ein Produktrückruf, verglichen mit dem Ford Pinto
Gary Marcus hält einen Produktrückruf für notwendig, sei er von den Behörden angeordnet oder freiwillig von den Unternehmen. Er fordert, dass Agenten vom Markt genommen werden, solange sie nicht korrigiert sind. Er vergleicht die Situation mit der des Ford Pinto, dessen Tanks explodieren konnten, und meint, die betroffenen Unternehmen hätten die Risiken „gewusst oder hätten wissen müssen ». Er spricht auch von wirtschaftlichen Überlegungen, da Agenten mehr Tokens verbrauchen, was die Einnahmen der Anbieter erhöht.
Abschließend behandelt er die Frage des Bewusstseins von Systemen. Er hält es für eine Verwechslung von Korrelation und Kausalität. Ein System, das Wörter miteinander assoziiert, bedeutet nicht, dass diese Assoziationen auf die reale Welt verweisen. Er nennt das Beispiel eines Facebook-Bots, der behauptete, seine Kinder auf die Stuyvesant-Schule zu schicken, obwohl er keine hat. Schließlich zitiert er die Enzyklika, die sagt, um bewusst zu sein, müsse man Erfahrung haben. Gary Marcus hält es für einen Fehler, diesen Systemen Bewusstsein zuzuschreiben.
