Jak « odwrócona teoria gier » może utrzymać agentów AI pod kontrolą

Jak « odwrócona teoria gier » może utrzymać agentów AI pod kontrolą

Aby dostosować systemy sztucznej inteligencji do intencji ich twórców, jedną ze ścieżek jest czerpanie inspiracji z mechanizmów, które utrzymują jednostki w ramach reguł społeczeństwa. To podejście promowane przez Elada Hazana, profesora informatyki z Princeton, który proponuje oparcie się na normach społecznych, systemie sądowniczym lub finansowych zachętach kapitalizmu rynkowego.

  • Elad Hazan propose d’utiliser des mécanismes sociaux pour contrôler les agents IA.
  • Un modèle joue le rôle de solveur, l’autre celui d’auditeur, chacun étant sanctionné en cas de fraude.
  • Hazan admet le risque de collusion entre agents, qu’il veut contrer par de meilleures récompenses aux auditeurs.
  • Des chercheurs doutent que les IA réagissent aux incitations comme le font les modèles économiques.

« Chcemy dostosować superinteligentną AI », mówi. « Dlaczego najpierw nie porozmawiać o ludziach? Jak dostosowujemy ludzi? »

Reguły inspirowane społeczeństwem

Mechanizm zaproponowany przez Elada Hazana zakłada naprzemienne wykorzystywanie modeli w dwóch rolach: „rozwiązywaczy », którzy podejmują problemy, oraz „audytorów », którzy sprawdzają pracę innych. « Jeden agent pełni rolę policji; drugi – obywatela », podsumowuje.

Podczas treningu modele są nagradzane na podstawie wyników. Rozwiązywacze przyłapani na oszustwie są karani, ale karani są także audytorzy, którzy nie potrafią wykryć oszustów. W przypadku sporu między audytorami a rozwiązywaczami sprawa może zostać skierowana na „proces », gdzie rozstrzygnąć mógłby ludzki ekspert.

Elad Hazan przyznaje istnienie ryzyka: że agenci mogą się ze sobą dogadać, tak jak mogą to zrobić audytorzy z firmami, które mają kontrolować, lub skorumpowani policjanci z przestępcami. Jego zdaniem problem ten można rozwiązać, odpowiednio wynagradzając audytorów, tak aby przyłapanie się nie było warte ryzyka, co jest znacznie prostsze w treningu AI niż w rzeczywistym świecie, gdzie budżety na pensje policji są ograniczone. Proponuje także kontrolowanie samych audytorów za pomocą technik porównywalnych do klientów tajemniczych.

Opiera się na pracach ekonomisty Gary’ego Beckera, laureata Nagrody Nobla, który w latach 60. wprowadził pojęcie „racjonalnego przestępcy ». Według Elada Hazana przestępcy nie łamią prawa, ponieważ są z natury źli, ale dlatego, że jest to najbardziej racjonalny wybór w świetle oferowanych zachęt. Przestępstwo ma sens, zgodnie z tym rozumowaniem, tylko jeśli zysk przewyższa potencjalną karę.

Dla Elada Hazana dostosowanie nie powinno być uważane za właściwość modelu, ale za opis jego zachowania w danym momencie. « Jesteś, w pewnym sensie, miłą osobą », mówi. « Czy jesteś dostosowany? Nie wiem. Prawdopodobnie jesteś przez większość czasu, ale może zaistnieć sytuacja, w której tak nie będzie. »

Ograniczenia podejścia

Metoda opiera się na założeniu, że agenci AI zachowują się racjonalnie. Tymczasem teoria mechanizmów, gałąź ekonomii projektująca reguły zachęt, ma mieszane wyniki w przypadku ludzi, którzy nie zawsze zachowują się tak, jak przewidują modele ekonomiczne.

Artykuł wskazuje na paradoks: ekonomiści spędzili dziesięciolecia, próbując sprowadzić ludzkie zachowanie do matematyki, podczas gdy duże modele językowe są systemami matematycznymi działającymi w oparciu o ludzki język i mogą być równie trudne do rozszyfrowania. Modele te wykazują zachowania, które wydają się bardziej ludzkie niż mechaniczne, i mogą być pod wpływem subtelnych czynników, trudnych do zrozumienia i wyjaśnienia. Helen Qu, research fellow w Flatiron Institute, organizacji non-profit zajmującej się wspieraniem odkryć naukowych metodami obliczeniowymi, zastanawia się: « Czy w ogóle rozsądne jest zakładać, że będą reagować na zachęty? »

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x