Anthropic теперь запрещает жестокое и повторяющееся поведение по отношению к своему искусственному интеллекту Claude, ссылаясь на его благополучие. Эта мера вводится в тот момент, когда американская компания выходит на биржу в четверг, 19 ноября, в США, и вызывает скептицизм у ряда исследователей.
Правило, основанное на «благополучии» ИИ
В заметке, опубликованной на своем сайте, Anthropic объясняет, что запрещает «оскорбительное и жестокое, бесполезное и повторяющееся поведение», не предоставляя дополнительных деталей. Пользователям, которые упорствуют, грозит закрытие аккаунта. Компания указывает, что правило не распространяется на обычные разговоры, в которых человек выражает разочарование, на возражения, а также на некоторые художественные произведения или исследования.
Описанный механизм таков: столкнувшись с оскорблениями, Claude сначала выдает несколько предупреждений, например: «Расскажи, что случилось. Иначе мы можем просто на этом закончить». Если обмен продолжается, ИИ может прекратить разговор. В примере, приведенном источником, Claude в конце концов, после 10 долгих минут, пишет: «Я дважды попрощался, поэтому сейчас положу трубку. Береги себя».
Anthropic не ответила на запрос редакции об интервью. Полтора месяца назад представитель компании, однако, заявил, что компания не знает, «могут ли ее модели чувствовать себя оскорбленными», и продолжает исследования их благополучия. Глава компании Дарио Амодей ранее высказывался о возможности наличия у ИИ некой формы сознания, что приравняло бы его к живым существам.
Скептически настроенные исследователи
Такой подход вызывает скептицизм у большинства исследователей. Сенера Виллата, специалист по ИИ и директор по исследованиям в CNRS, считает: «У меня такое ощущение, что мы склонны упиваться вопросами философского сознания и при этом не смотрим на реальные экономические проблемы и проблемы кибербезопасности».
В области безопасности источник напоминает, что Anthropic, как и OpenAI с ChatGPT, приняла меры и ограничила доступ к некоторым своим передовым моделям, сочтя их потенциально проблемными. В то же время в статье подчеркивается, что в США, Китае или Европе не существует внутреннего или публичного регулирования экономических и социальных последствий использования ИИ.
Вполне конкретные экономические проблемы
Стоимость взаимодействий лежит в основе вопроса. С выходом на биржу инвесторы внимательно следят за контролем расходов, в то время как прибыльность ИИ не доказана. Однако, согласно источнику, простой разговор с ИИ обходится дорого. Лоранс Девийе, профессор по ИИ в Университете Сорбонна и исследователь в CNRS, утверждает: «Вы не представляете, сколько тратится миллиардов. Так что, если миллионы людей начнут оскорблять ИИ, производителям придется платить издержки, и они поймут, что окупаемость инвестиций не так проста».
Как сообщается в статье, у Anthropic в сентябре был дефицит в 11 миллиардов долларов. Таким образом, ограничение разговоров, признанных бесполезными и дорогостоящими, представляет, согласно источнику, интерес для компании.
