OpenAI : la miembro de la junta que despidió a Sam Altman considera que « aún no se puede confiar en los jefes de IA »

OpenAI : la miembro de la junta que despidió a Sam Altman considera que « aún no se puede confiar en los jefes de IA »
3 min de lectura

Helen Toner, directora ejecutiva del Center for Security and Emerging Technology (CSET) de la Universidad de Georgetown y exmiembro de la junta directiva de OpenAI, considera que los responsables políticos necesitan información fiable sobre la inteligencia artificial. En una entrevista con el presentador Nilay Patel para el podcast Decoder de The Verge, habla sobre la gobernanza de los laboratorios, el concepto de AGI y la rivalidad con China.

El CSET, que existe desde 2019 y cuenta con unas 50 personas, se presenta como un centro de análisis que no es académico. Produce informes largos, así como breves resúmenes destinados a responsables políticos con prisa. Según Helen Toner, la brecha entre Washington y Silicon Valley es real, pero no se reduce a una cuestión de experiencia: los colaboradores del Congreso son, en su opinión, « generalmente más inteligentes de lo que se les reconoce ».

El precedente de OpenAI

Helen Toner fue una de los cuatro miembros de la junta directiva de OpenAI que votaron para despedir a Sam Altman. Este episodio, a veces apodado « the blip », terminó con el regreso de Sam Altman como CEO, la salida de Helen Toner y la creación de una nueva junta. OpenAI ha sido completamente reestructurada desde entonces.

La junta sin ánimo de lucro tenía la misión de garantizar que la empresa no sacrificara su objetivo de construir una IA segura en aras del beneficio y el crecimiento. Según el presentador, cuando la junta intentó accionar esta palanca, este mecanismo de responsabilidad falló. Así, Helen Toner vio, a su juicio, lo que ocurre cuando los compromisos de seguridad chocan con los incentivos comerciales. Considera que el futuro no debería depender de la fiabilidad de una sola persona: si así fuera, « estaríamos en un buen lío ».

AGI, auto-mejora y singularidad

Preguntada sobre la AGI, o inteligencia artificial general, Helen Toner afirma que no dice que se haya alcanzado esta etapa. Habla más bien de una « nube borrosa » de definiciones, algunas de las cuales ya se han superado. Otras, como la de una IA consciente capaz de hacer todo lo que hace un humano, siguen lejanas. Ha dedicado una entrada a este tema en su Substack.

También describe una idea muy extendida en Silicon Valley: la auto-mejora recursiva, o RSI (recursive self-improvement), es decir, la posibilidad de que las IA participen en la creación de sistemas más potentes, hasta llegar a la superinteligencia. Según ella, las empresas ya utilizan la IA en una parte creciente de su investigación y desarrollo, sin confiarle todo el proceso. Cita a Demis Hassabis, de Google, que declaró que « estamos en las estribaciones de la singularidad ».

Sobre el concepto de alineación, que busca que los modelos se ajusten a las intenciones de sus creadores, Helen Toner considera el término demasiado amplio. La versión más coherente, según ella, consiste en lograr que la IA haga lo que el usuario quiere. Considera que esta dirección no está « en buen camino » para resolverse. Sin embargo, destaca que estas cuestiones pertenecen a una investigación científica que requiere tiempo.

En cuanto a la regulación, se declara más partidaria de normas dirigidas a los sistemas más avanzados que de un texto que cubra toda la IA. Cita a California, Nueva York e Illinois, que han aprobado textos casi idénticos, y señala que esta dinámica podría continuar a nivel estatal.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x