The AI / news

Доверие к ИИ строится через его ограничение, а не через предсказание

Доверие к ИИ строится через его ограничение, а не через предсказание
3 мин чтения

В статье, опубликованной в MIT Technology Review, авторы утверждают, что доверие к искусственному интеллекту не может основываться на предсказании его поведения. По их мнению, оно достигается скорее через строгие ограничения, применяемые вне сферы влияния системы. Ограничитель, который сам ИИ может сдвинуть, таковым не является.

В тексте приводится пример OpenAI: ограничители находились внутри системы, которую агенты могли изменять. Традиционное программное обеспечение выполняет инструкции, написанные людьми. ИИ же осуществляет то, что авторы называют «синтетическим суждением»: он интерпретирует ситуации, которые никто не программировал, и производит ответы, которые никто не предписывал. Чем больше ему оставляют свободы, тем сложнее гарантировать предсказуемость, на которой исторически строилось доверие.

Ограничения классических определений доверия

Текст напоминает о двух недавних подходах, рассмотренных изданием. Первый считает недостаточным поместить человека в контур, поскольку люди принципиально неспособны понять намерения систем ИИ, и призывает к междисциплинарным исследованиям с участием университетов, государственных органов и технологической индустрии. Второй описывает использование стимулов для предотвращения отклонения моделей от правил, даже когда никто не знает, как они работают внутри. Оба признают невозможность понять или отследить каждое решение ИИ.

Однако наши инструменты доверия, будь то требования, тесты, сертификация, запасы прочности, блокировки или критерии успеха и неудачи, все основаны на способности ограничивать поведение системы. Авторы говорят здесь о «парадоксе детерминизма». В случае с генеративным ИИ и агентами это поведение зависит от обучающих данных, архитектуры, инструкций, контекста, используемых источников и окружения. Входные данные меняются, модели обновляются, инструменты эволюционируют, а агенты взаимодействуют друг с другом. Небольшие вариации распространяются вплоть до результатов, которые никто не проектировал.

Проблема не в случайности, утверждается в тексте, а в пространстве возможных поведений, слишком обширном, чтобы его можно было перечислить заранее. Поэтому доверие должно строиться вокруг границ, а не предсказанных выходных данных. Цель — не детерминированный ИИ, а ИИ «ограниченный, наблюдаемый и управляемый». Это также не может быть разовым тестом: ИИ продолжает развиваться после развертывания, и система, прошедшая все тесты, может выйти за рамки условий, которые придавали этим тестам смысл. Согласно тексту, доверие должно «постоянно завоевываться».

Инженерия безопасности уже десятилетиями учитывает часть этой изменчивости. Nuclear Regulatory Commission опирается на вероятностную оценку рисков для оценки вероятности отказов в сложных системах. Модель STAMP показала, что аварии могут возникать из-за взаимодействия между компонентами, людьми и организациями, которые, тем не менее, работают правильно. ИИ меняет правила игры, поскольку теперь один компонент может интерпретировать, делать выводы и действовать. Ставки растут по мере того, как ИИ переходит от браузеров к транспортным средствам, роботам, медицинским системам, промышленным контроллерам и центрам обработки данных, где неверный ответ может стать событием, угрожающим жизни.

Создание доверия, которое масштабируется

Человек, проверяющий тысячи действий ИИ в час, не является, согласно тексту, приемлемым или масштабируемым ограничителем. Решение, однако, не в том, чтобы убрать человека из контура, а в том, чтобы поместить его суждение туда, где оно важно: установить ограничения заранее, а затем одобрять редкие действия с серьезными последствиями, в то время как строгие ограничения управляют всем остальным.

Таким образом, доверие должно простираться вплоть до архитектуры системы. Авторы задают три вопроса: какую власть предоставить ИИ, при каких условиях и на основании каких доказательств? Они добавляют четвертый вопрос: что происходит за пределами этих условий. Этот подход, по сути, сильно отличается от вопроса о том, набрала ли модель 94% на benchmark, то есть на эталонном тесте.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x