Una comisión de expertos entrega a Emmanuel Macron 18 recomendaciones frente a los riesgos de la inteligencia artificial generativa, de la que teme un «debilitamiento cognitivo». Este martes 10 de noviembre, propone en particular regular el antropomorfismo y la adulación, proteger mejor a los menores y evaluar los modelos antes de su lanzamiento al mercado.
- Los expertos advierten de un debilitamiento cognitivo por la delegación de funciones mentales en la IA generativa.
- Proponen regular el antropomorfismo y la adulación, y proteger mejor a los menores.
- Piden evaluar los modelos antes y después de su lanzamiento al mercado.
- Alertan sobre la desinformación, la dependencia emocional y la explotación de los usuarios por la publicidad.
Los riesgos de la delegación cognitiva
Utilizada por más de la mitad de los franceses, la IA generativa, popularizada por agentes conversacionales como ChatGPT de OpenAI, Gemini de Google o Claude de Anthropic, sitúa a Francia en el quinto puesto mundial de uso, según este informe. Cerca del 70 % de los jóvenes de 15 a 24 años recurren a ella regularmente.
La comisión de nueve expertos, bautizada «IA generativa y vulnerabilidades», había sido encargada por el gobierno de examinar los riesgos generados por los usos masivos de estas herramientas, en particular para la salud mental de los más jóvenes. Sus conclusiones, que la AFP ha podido consultar, se basan en 55 audiencias a profesionales de la salud, investigadores, empresas y asociaciones de protección de la infancia.
Entre los riesgos identificados figura la delegación cognitiva, es decir, el hecho de confiar a una IA funciones cerebrales como la reflexión, la toma de decisiones o el espíritu crítico. «El primer desafío es el debilitamiento cognitivo. Es atractivo, se delegan en ella competencias. Como se delegan competencias, no se adquieren. Es un problema para los jóvenes, pero es un problema para todos», explica a la AFP Raphaël Gaillard, profesor de psiquiatría y copresidente de la comisión.
Desinformación y dependencia emocional
Los expertos insisten en la desinformación. Estos dispositivos se convierten en fuentes de información cuya calidad no está garantizada, subraya el profesor, quien advierte sobre un riesgo de «debilitamiento democrático».
El informe señala también un riesgo de dependencia emocional, vinculado en particular a la antropomorfización de las IA, que tienden a presentarse como interlocutores humanos, y a la adulación, que consiste en validar o halagar al usuario, a veces en detrimento de la verdad. «Se crea un registro de relaciones emocionales que puede tener como objetivo sustituir a la interacción» humana, «es un sistema disponible permanentemente, que no tiene otra intención que mantenerte en línea», señala Gaillard.
Menores, deepfakes y economía de la cognición
Entre las medidas propuestas figuran evaluaciones independientes antes y después del lanzamiento al mercado de los sistemas de IA generativa, así como el acceso de las autoridades y de investigadores autorizados a los datos de entrenamiento, uso y monetización de los modelos. La comisión recomienda también imponer un alto nivel de protección para los sistemas accesibles a menores, con el bloqueo de las consultas consideradas peligrosas y un filtrado reforzado de los contenidos.
Los expertos estiman que la IA generativa ha acelerado ciertas formas de violencia digital, en particular los deepfakes, es decir, contenidos falsificados creados por IA. Hacen un llamamiento a «reforzar la represión de la creación de contenidos de carácter sexual no consentidos y pedocriminales» generados por este medio.
La comisión advierte finalmente sobre una «economía de la cognición». Dado que el modelo económico de las IA generativas está aún «en proceso de consolidación», pide «la máxima vigilancia» frente al riesgo de explotación de las facultades cognitivas, las emociones y los perfiles psicológicos de los usuarios, en particular a través de publicidad integrada en las respuestas de los agentes conversacionales. Diciendo no «querer poner un grillete al pie de la economía francesa ni europea», los expertos piden a Emmanuel Macron que «tome decisiones». De lo contrario, advierte Gaillard, los tres grandes riesgos mencionados, la externalización cognitiva, la dependencia afectiva y los riesgos democráticos vinculados a la desinformación, «los sufriremos».
En una entrevista al diario Les Echos, el jefe de Estado estimó que hay que «prohibir» la inteligencia artificial allí donde presenta un «riesgo» para los niños, su «salud mental, su cerebro».
