Для согласования систем искусственного интеллекта с намерениями их создателей один из подходов заключается в использовании механизмов, которые удерживают людей в рамках общественных правил. Такой подход отстаивает Элад Хазан, профессор компьютерных наук в Принстоне, предлагая опираться на социальные нормы, судебную систему или финансовые стимулы рыночного капитализма.
«Мы хотим согласовать сверхразумный ИИ», — говорит он. «Почему бы сначала не поговорить о людях? Как мы согласовываем людей?»
Правила, вдохновленные обществом
Механизм, предложенный Эладом Хазаном, чередует модели в двух ролях: «решатели», которые берутся за проблемы, и «аудиторы», которые проверяют работу других. «Один агент играет роль полиции; другой — роль гражданина», — резюмирует он.
Во время обучения модели вознаграждаются в зависимости от результатов. Решатели, пойманные на жульничестве, наказываются, но аудиторы, которые не могут выявить мошенников, также подвергаются санкциям. В случае разногласий между аудиторами и решателями дело может быть передано на «суд», где решение может принять человек-эксперт.
Элад Хазан признает риск: агенты могут сговориться между собой, как это могут сделать аудиторы с компаниями, которые они должны контролировать, или коррумпированные полицейские с преступниками. По его мнению, эту проблему можно решить, достаточно хорошо оплачивая аудиторов, чтобы быть пойманным не стоило риска, что гораздо проще сделать при обучении ИИ, чем в реальном мире, где бюджеты на зарплаты полиции ограничены. Он также предлагает контролировать самих аудиторов с помощью методов, сравнимых с тайными покупателями.
Он опирается на работы экономиста Гэри Беккера, лауреата Нобелевской премии, который в 1960-х годах ввел понятие «рационального преступника». По мнению Элада Хазана, преступники нарушают закон не потому, что они по своей природе плохие, а потому что это наиболее рациональный выбор с учетом предлагаемых стимулов. Согласно этой логике, преступление имеет смысл только в том случае, если выгода перевешивает потенциальное наказание.
По мнению Элада Хазана, согласованность не следует рассматривать как свойство модели, а как описание ее поведения в конкретный момент времени. «Вы, в некотором смысле, хороший человек», — говорит он. «Вы согласованы? Я не знаю. Вероятно, большую часть времени да, но может возникнуть ситуация, когда это будет не так».
Ограничения подхода
Метод основан на предположении, что агенты ИИ ведут себя рационально. Однако теория механизмов, раздел экономики, разрабатывающий правила стимулирования, имеет неоднозначные результаты с людьми, которые не всегда ведут себя так, как предсказывают экономические модели.
В статье отмечается парадокс: экономисты потратили десятилетия, пытаясь свести человеческое поведение к математике, тогда как большие языковые модели — это математические системы, работающие на основе человеческого языка, и они могут быть столь же трудны для расшифровки. Эти модели демонстрируют поведение, которое кажется более человеческим, чем механическим, и на них могут влиять тонкие факторы, которые трудно понять и объяснить. Хелен Ку, научный сотрудник Flatiron Institute, некоммерческой организации, занимающейся продвижением научных открытий с помощью вычислительных методов, задается вопросом: «Разумно ли вообще предполагать, что они будут реагировать на стимулы?»
