Pretxt, имеющая офисы в Аспене (Колорадо) и Дублине (Ирландия), выходит из тени с начальным раундом финансирования в 5 миллионов долларов, собранными от Deciens Capital, Howdy Partners и Service Provider Capital. Молодая компания относится к зарождающейся категории: технологиям, призванным предотвратить выход агентов ИИ за установленные границы и причинение непреднамеренного ущерба.
По мнению источника, ИИ больше похожа на человека, чем на обычную компьютерную программу. Она получает инструкции, интерпретирует их, может неправильно их понять и ответить, иногда двусмысленно. Именно сочетание такого неверного толкования с широкой свободой действий может привести агентов ИИ, то есть систем, способных действовать автономно, к отклонению от курса и причинению вреда.
Поскольку язык по своей природе неоднозначен, полностью исключить такие ошибки невозможно. Поэтому ограничение свободы действий агентов остается единственным прямым решением, но слишком строгие ограничения могут сильно снизить экономическую привлекательность этих инструментов. Без новых форм надзора, как считает источник, будет сложно иметь полезных агентов без риска получить потенциально опасных. Эта потребность порождает продукты кибербезопасности, которые пытаются обнаружить потенциально вредное действие во время его выполнения и контролировать его до наступления последствий.
Pretxt как раз представляет продукт такого типа под названием AI Supervision, который она описывает как «исполняемую технологию, предназначенную для надзора за агентами ИИ во время их работы, возвращая их на правильный путь до того, как ошибки обернутся последствиями для бизнеса».
Исправлять, а не блокировать
Вместо того чтобы сокращать возможности агента, объясняет Аарон Костелло, сооснователь и технический директор (CTO) Pretxt, подход заключается в предоставлении ему того же уровня доступа, что и у авторизованного сотрудника, при постоянном мониторинге его взаимодействия с системами и людьми. Цель — убедиться, что эти взаимодействия соответствуют корпоративным стандартам и ожиданиям компании от своих работников.
Когда агент превышает свои полномочия или отклоняется от задачи, Pretxt не отключает его. Продукт «направляет» его в нужную сторону, что Костелло сравнивает с опытным руководителем, который постоянно сидит рядом со стажером и вмешивается только при необходимости, предлагая другой способ действий.
Такое исправление зависит от контекста. Новые клиенты подключают своего агента к платформе, что позволяет прочитать его инструкции и понять его цель. Затем Pretxt наблюдает за его работой, определяет инструменты, к которым у него есть доступ, например, для отправки электронной почты, публикации в LinkedIn или обновления базы данных. Наконец, клиент определяет правила, которым нужно следовать: что агенту никогда нельзя делать, какие задачи зарезервированы только для него или какие данные он не должен просматривать. «Это может быть что угодно», — добавляет Костелло. Эта информация интегрируется в ИИ Pretxt, которая использует ее как рамки допустимого поведения.
Пример из сферы здравоохранения
Костелло приводит пример агента службы поддержки, используемого медицинской клиникой для помощи пациентам в записи на прием. Клиника могла указать Pretxt, что этот агент никогда не должен давать медицинских рекомендаций. «Мы подключаемся каждый раз, когда агент взаимодействует с пользователем», — объясняет он. Специальный агент Pretxt затем анализирует обмен данными в реальном времени, чтобы проверить, содержит ли он медицинский совет.
Если это так, совет блокируется, но агент не останавливается, иначе пациенты не смогут больше записываться на прием. Pretxt применяет тот же метод «направления». По словам Костелло, платформа тогда невидимо сообщает агенту: «Вы попытались дать медицинский совет. Продолжайте помогать пользователю в запросе на прием, но больше не пытайтесь давать медицинские рекомендации».
В этом, по мнению источника, и заключается цель применения AI Supervision: не останавливать вышедших из-под контроля агентов ИИ, а поддерживать их в безопасном состоянии и предотвращать их отклонение от установленных для них ограничений.
