Агент искусственного интеллекта может сгенерировать убедительный ответ и предпринять действие, которое ему на самом деле никто не поручал. Согласно опубликованному здесь анализу, именно граница между технической возможностью и делегированными полномочиями должна стать центральным объектом управления ИИ.
Автор приводит вымышленный пример компании, которая поручает агенту анализ жалоб клиентов. Чтобы ускорить обработку, она предоставляет ему доступ к своей CRM-системе, то есть инструменту управления взаимоотношениями с клиентами, а затем к инструменту для возврата средств. Сначала агент рекомендует коммерческие действия, а затем выполняет их в рамках технических ограничений своего доступа. Однако возможность инициировать платеж не означает наличия мандата на принятие решения об этом платеже.
Качество ответов недостаточно для управления действиями
Оценка модели и оценка её полномочий отвечают на два разных вопроса. Первый касается уместности или точности результата, второй — законности действия в данной ситуации. Точная рекомендация может выходить за рамки мандата агента, в то время как неопределенная рекомендация может остаться без последствий, если её выполнение должным образом регламентировано.
Для генерального руководства или ИТ-директора вопрос становится конкретным: какие решения система может принимать, какими средствами, от чьего имени и до каких пределов? Список разрешенных инструментов — это начало, но он не определяет допустимые условия использования. Доступ к CRM может использоваться для просмотра дела, изменения данных или экспорта контактов. Эти операции имеют разную цель и разные последствия, и управление должно связывать их с явным мандатом.
Эрозия контроля формируется в цепочках действий
Автор говорит об эрозии контроля, когда реальная способность ответственных лиц понимать, ограничивать и корректировать действия снижается по мере работы системы. Один агент собирает информацию, второй её обобщает, третий готовит решение, а четвертый его исполняет. Каждый может соблюдать свою непосредственную роль, тогда как в целом это может привести к последствию, которое изначально не предусматривал ответственный руководитель. Гипотеза становится рабочей данными, эти данные — обоснованием, а обоснование запускает действие.
Смещение полномочий может оставаться незаметным. Оно проявляется, когда система фактически расширяет свою сферу деятельности, например, превращая инструкцию по анализу в разрешение на исполнение. Таким образом, правильный уровень наблюдения — это цепочка, связывающая человеческий мандат с конечным результатом. Наличие кнопки подтверждения недостаточно для установления эффективного контроля: руководитель должен иметь понятную информацию, достаточное время и соответствующие средства вмешательства. В примере с возвратом средств подтверждение должно происходить до операции и указывать сумму, причину, неопределенности и применимое правило.
Организация проверяемого контроля
Автор предлагает пять требований. Во-первых, сформулировать мандат: цель, область применения, срок и исключенные действия, потому что «обрабатывать жалобы» слишком широко, если не указаны разрешенные решения. Затем сопоставить разрешения с мандатом, ограничив доступ необходимыми операциями и имея возможность отозвать его по окончании задачи. Также необходимо размещать проверки до наступления последствий, которые трудно исправить, например, с помощью порога суммы или изменения получателя. Далее следует хранение пригодной для использования, соразмерной и защищающей данные записи. Наконец, необходимо проверить возможность восстановления контроля, поскольку некоторые последствия необратимы, и возможность остановки системы должна быть оценена до внедрения.
Правила надзора сами могут стать непригодными, когда меняются объем, инструменты или ответственность. Детерминированный механизм правил может сделать некоторые проверки воспроизводимыми, не гарантируя качества полученных фактов или уместности правил. Прежде чем расширять автономию агента, лица, принимающие решения, должны быть в состоянии продемонстрировать, кто дал ему право действовать, в каких пределах и как вернуть управление.
