El investigador en ciencias cognitivas Gary Marcus ofreció una intervención improvisada durante un encuentro privado previo a una audiencia con el papa Leo XIV. Allí se declaró admirador de la encíclica sobre inteligencia artificial, Magnifica Humanitas, y abogó por la retirada de los agentes de IA dotados de acceso abierto a Internet.
- Gary Marcus pide retirar del mercado los agentes de IA con acceso abierto a Internet.
- Considera que los grandes modelos de lenguaje predicen bien, pero razonan mal.
- Compara estos agentes con el Ford Pinto y reclama un retiro de producto.
- Rechaza que estos sistemas sean conscientes, porque confunden correlación con causalidad.
Presentado como «ante todo» investigador en ciencias cognitivas, Gary Marcus se formó en el MIT junto a Steven Pinker. También fundó una empresa de IA, adquirida por Uber. Dice estar de acuerdo con Max Tegmark en varias de sus recomendaciones, así como con Stuart Russell, para quien «la trayectoria actual es insostenible». También coincide con Valérie Pisano cuando afirma que a menudo se confunden elecciones con una fatalidad.
Máquinas que predicen, pero razonan mal
Según Gary Marcus, el error del campo ha sido creer que dominar un solo componente de la inteligencia, la predicción, bastaba para reproducir la inteligencia en su conjunto. Los grandes modelos de lenguaje (LLM), sistemas que calculan la palabra más probable tras otra, «lo hacen muy bien», pero razonan mal y siguen mal las instrucciones. Cita el caso de referencias jurídicas inventadas por sistemas a los que se les pidió explícitamente no crearlas.
Saluda el trabajo de Yoshua Bengio, quien busca, según él, diseñar un sistema «seguro por diseño», aunque estima que se necesitan tanto nuevos enfoques de investigación como políticas públicas. También menciona a los agentes, sistemas capaces de encadenar acciones de forma autónoma. Distingue aquellos que solo realizan una tarea específica, como los GPS, de los que pueden «hacer casi cualquier cosa en Internet». Recuerda que AlphaFold, que él sepa, no ha causado ningún daño.
Los agentes abiertos son, a su juicio, el origen de los problemas actuales. Menciona un incidente que involucró a Hugging Face, que califica de «realmente grave», y afirma que existen alrededor de 10.000 incidentes de este tipo. También cita un ciberataque dirigido a un sistema de refrigeración en Francia y ataques en Japón. Señala que OpenAI declaró que la mayoría de estos incidentes eran relativamente menores, y dice preguntarse por aquellos que no se han hecho públicos.
Un retiro de producto, comparado con el Ford Pinto
Gary Marcus estima que sería necesario un retiro de producto, ya sea impuesto por los poderes públicos o voluntario por parte de las empresas. Afirma que los agentes deberían ser retirados del mercado mientras no se corrijan. Compara la situación con la de los Ford Pinto, cuyos depósitos podían explotar, y estima que las empresas concernidas «sabían, o deberían haber sabido» los riesgos. También menciona, según él, consideraciones económicas, ya que los agentes consumen más tokens, lo que aumenta los ingresos de los proveedores.
Finalmente, aborda la cuestión de la conciencia de los sistemas. Considera que se basa en una confusión entre correlación y causalidad. Un sistema que asocia palabras entre sí no significa que esas asociaciones se refieran al mundo real. Pone el ejemplo de un bot de Facebook que afirmaba enviar a sus hijos a Stuyvesant, cuando no tiene ninguno. Finalmente cita la encíclica, que afirma que, para ser consciente, hay que tener una experiencia. Según Gary Marcus, es un error atribuir una conciencia a estos sistemas.
