Любой искусственный интеллект может ошибаться, и ни одно сравнение не скажет, какой именно ошибется на важном ответе. Поэтому для компаний вопрос выбора ИИ решается отдельно для каждого случая использования, в зависимости от последствий ошибки. Решить помогает метод, основанный на анализе влияния.
Возьмем опросник по безопасности от крупного клиента с длинным списком вопросов и сжатыми сроками. Команда заполняет его с помощью ИИ, бегло проверяет, и руководитель службы безопасности подписывает. На вопрос «Зашифрованы ли резервные копии?» ИИ отвечает «да», ссылаясь на политику, которая с тех пор изменилась. Никто этого не замечает. Клиент же увидит это при первой проверке, и вопрос будет уже не в том, ошибся ли ИИ, а в том, кто подписал и на каком основании.
Ошибка ИИ поправима, пока остается черновиком. Она становится затратной, как только человек взял на себя ответственность за нее от имени компании. Один и тот же ИИ с одинаковым процентом ошибок может быть безобиден для внутренней записки и опасен в ответе клиенту. Поэтому выбор инструмента должен осуществляться для каждого конкретного случая использования.
Четыре уровня, один вопрос
Метод заключается в том, чтобы для каждого случая использования задаться вопросом: что будет затронуто, если ответ окажется неверным и никто этого не заметит? Возможны четыре варианта. Ничего — в случае внутренней записки, перефразирования или черновика, который все равно будет проверен. Работа — когда нужно переделать документ и потерять время, но без взятых обязательств. Обязательство — при договорном ответе, заявлении клиенту или коммерческом предложении. И, наконец, ответственность — при регуляторной отчетности, сертификате соответствия или документе, предоставляемом под контролем надзорного органа.
Правлению не нужно подсчитывать стоимость каждой ошибки, поскольку заранее этого никто не знает. Оно должно решить для каждого уровня, что компания готова принять: подписать без проверки, потребовать указания источника или запретить машине создавать контент. Это решение о толерантности к риску, принимаемое для каждого случая использования, а не раз и навсегда для «ИИ» в целом.
Для каждого уровня — свой инструмент
Для первых двух уровней может подойти публичная генеративная ИИ, в пределах того, что ей можно доверить без риска. Для двух последующих скорость уже недостаточна, и возникают три требования: каждое утверждение должно ссылаться на документ, страницу и версию, из которых оно взято; система должна уметь указать, что не может ответить, потому что ложный ответ придется объяснять проверяющему; и назначенное лицо должно утверждать контент с фиксацией подписи.
Автор добавляет четвертое требование: проверку нельзя поручать той же модели, которая составляла ответ. Исследователи продемонстрировали это на конференции ICLR 2024, и более свежее исследование подтверждает: проверка становится эффективнее, когда проверяющий менее похож на того, кто отвечал. Таким образом, контроль может осуществляться другой ИИ, специализирующейся на бизнес-процессах и документах компании, которая проверяет каждое утверждение по источнику и отмечает то, что не может подтвердить. Расхождение между двумя ИИ не дает правильного ответа, но указывает на место, которое должен проверить человек. Этот контроль выполняется в защищенном пространстве компании, а не у третьей стороны.
Что решает правление
Порядок действий важен. Сначала нужно составить перечень случаев использования и определить для каждого, к чему приведет незамеченная ошибка. Затем определяется толерантность к риску для каждого уровня. Инструмент выбирается только в последнюю очередь, исходя из этой толерантности, а не из демонстрации поставщика.
Вернемся к опроснику. При таком подходе ответ о резервных копиях содержал бы ссылку на политику, ее версию и дату. Вторая ИИ или проверяющий, обративший внимание на эту дату, заметили бы, что указанная версия больше не актуальна, и руководитель службы безопасности подписал бы документ осознанно. Машина все равно ошиблась бы, но кто-то узнал бы об этом раньше клиента.
