Cómo la « teoría de juegos inversa » podría mantener bajo control a los agentes de IA

Cómo la « teoría de juegos inversa » podría mantener bajo control a los agentes de IA
3 min de lectura

Para alinear los sistemas de inteligencia artificial con las intenciones de sus creadores, una vía consiste en inspirarse en los mecanismos que mantienen a los individuos dentro de las reglas de la sociedad. Es el enfoque defendido por Elad Hazan, profesor de informática en Princeton, quien propone basarse en las normas sociales, el sistema judicial o los incentivos financieros del capitalismo de mercado.

  • Elad Hazan propone alinear la IA con los mecanismos que regulan el comportamiento humano en la sociedad.
  • Su método enfrenta a modelos solucionadores y auditores, que son recompensados o sancionados según sus resultados.
  • Para frenar la colusión entre agentes, bastaría con pagar a los auditores lo suficiente para que ser descubiertos no compense.
  • El enfoque supone que la IA actúa racionalmente, pero los modelos de lenguaje podrían reaccionar de forma impredecible a los incentivos.

«Queremos alinear una IA superinteligente», declara. «¿Por qué no hablar primero de los humanos? ¿Cómo se alinea a los humanos?»

Reglas inspiradas en la sociedad

El mecanismo propuesto por Elad Hazan alterna modelos en dos roles: los «solucionadores», que abordan problemas, y los «auditores», que verifican el trabajo de los otros. «Un agente juega el papel de la policía; el otro el del ciudadano», resume.

Durante el entrenamiento, los modelos son recompensados según los resultados. Los solucionadores sorprendidos haciendo trampa son sancionados, pero también lo son los auditores que no logran detectar a los tramposos. En caso de desacuerdo entre auditores y solucionadores, el caso puede llevarse a un «juicio», donde un experto humano podría decidir.

Elad Hazan reconoce un riesgo: que los agentes lleguen a un acuerdo entre ellos, como pueden hacerlo auditores con las empresas que se supone deben controlar, o policías corruptos con criminales. Según él, este problema puede resolverse remunerando suficientemente a los auditores para que ser descubierto no valga el riesgo, lo que es mucho más simple en el entrenamiento de una IA que en el mundo real, donde los presupuestos salariales de la policía son ajustados. También propone controlar a los auditores mismos, mediante técnicas comparables a las de los clientes misteriosos.

Se basa en los trabajos del economista Gary Becker, premio Nobel, quien introdujo en los años 1960 la noción de «delincuente racional». Según Elad Hazan, los criminales no infringen la ley porque sean fundamentalmente malos, sino porque es la elección más racional a la vista de los incentivos propuestos. Un crimen tiene sentido, según este razonamiento, solo si la ganancia supera el castigo potencial.

Para Elad Hazan, la alineación no debe considerarse como una propiedad de un modelo, sino como la descripción de su comportamiento en un momento dado. «Tú eres, en cierto modo, una persona amable», declara. «¿Estás alineado? No lo sé. Probablemente lo estás la mayor parte del tiempo, pero podría haber una situación en la que no sea así.»

Los límites del enfoque

El método se basa en la hipótesis de que los agentes de IA se comportan de forma racional. Sin embargo, la teoría de los mecanismos, rama de la economía que diseña reglas de incentivo, tiene un historial desigual con los humanos, que no siempre se comportan como predicen los modelos económicos.

El artículo señala una paradoja: los economistas han pasado décadas intentando reducir el comportamiento humano a matemáticas, mientras que los grandes modelos de lenguaje son sistemas matemáticos que funcionan a partir del lenguaje humano y podrían ser igual de difíciles de descifrar. Estos modelos presentan comportamientos que parecen más humanos que mecánicos, y pueden ser influenciados por factores sutiles, difíciles de comprender y explicar. Helen Qu, investigadora del Flatiron Institute, una organización sin fines de lucro dedicada al avance del descubrimiento científico mediante métodos computacionales, se pregunta: «¿Es siquiera razonable suponer que reaccionarán a los incentivos?»

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x