Когда корпоративная система ИИ выдаёт ненадёжный ответ, обычно винят модель. Однако, согласно исходной статье, более частая и трудновыявляемая неудача кроется в другом: большая языковая модель (LLM) может правильно рассуждать на основе неправильно выбранного контекста.
Самые распространённые средства, более мощная модель, более длинный промпт, больше извлечённых документов или более широкое окно контекста, то есть количество информации, которое модель может обработать за раз. Каждое может помочь, но ни одно не решает эту проблему напрямую. В аналитических системах вычисления могут быть верными, объяснение, последовательным, а ответ всё равно окажется ложным: система выбрала неверные доказательства, пошла по неверной связи между таблицами или дала двусмысленному бизнес-термину определение, которое не имел в виду пользователь. Ошибка возникает до любых вычислений.
Возьмём простой вопрос: сколько часов в среднем работает Кам в день? Слово « день » не определено. Оно может означать каждый календарный день периода, стандартизированный рабочий год, каждую запись в расписании или каждую дату, когда Кам фактически работал. Деление общего количества часов на календарные дни даёт более низкое среднее значение, чем деление на реально отработанные дни, как только у Кама появляются выходные. Классическая проверка, которая сверяет, сходятся ли итоги, не обязательно обнаружит этот неправильный выбор знаменателя.
Бизнес-вопрос, программа анализа
Вопрос « Какая марка улучшила доверие в этом квартале? » похож на простой поиск. Однако ответ на него требует разрешения нескольких моментов: какой вопрос анкеты измеряет доверие, какие волны опроса составляют « этот квартал », каков охват респондентов, взвешены ли результаты и что считается улучшением.
В статье рассматривается иллюстративный случай. Две сводные таблицы, кажется, соответствуют запросу, их описания отличаются лишь несколькими словами. Первая, взвешенная, охватывает всех респондентов и показывает небольшой рост. Вторая, невзвешенная, касается только респондентов, знакомых с брендом, и показывает небольшое снижение. Инструмент поиска на основе сходства поставил бы их почти наравне. Система, которая выбирает первый результат, предоставляет обоснованный и аргументированный ответ, который может быть ложным, причём сделанный выбор не отображается в конечном результате. Система, основанная на последовательности, напротив, замечает разницу в популяции и взвешивании и спрашивает пользователя, какой охват выбрать. Стоимость этого уточняющего вопроса, по мнению автора, намного ниже стоимости ложной цифры, похожей на правильную.
Бенчмарки, измеряющие системы
Исследования идут в том же направлении. Spider 2.0, корпоративный бенчмарк text-to-SQL, состоящий из 632 задач из реальных рабочих процессов, был опубликован в конце 2024 года. Его самая производительная система, агент, построенный на o1-preview, решила около 17 % задач, против примерно 91 % у лучших систем на оригинальном бенчмарке Spider. Рейтинг с тех пор изменился: его трек Snow показывает результат 96,7 %, представленный издателем, полученный от системы-агента. Результаты отправляются самими командами, и в статье отмечается, что лучшие результаты достигаются системами, спроектированными вокруг модели, а не просто моделями.
Удлинение контекста тоже не решает проблему. Исследование Chroma под названием « Context Rot » показывает, что модели становятся менее надёжными по мере увеличения длины входных данных, даже на простых задачах, а похожие отвлекающие факторы усугубляют проблему.
Последовательность, а не куча
Столкнувшись с неопределённостью, рефлекс, дать модели больше информации. Однако это может умножить конкурирующие интерпретации. Описанный подход заключается в организации контекста последовательно: сначала цель исследования, затем структура анкеты, вопросы и их определения, сегменты, рынки, волны и правила взвешивания, и наконец сводная таблица, содержащая доказательство. Каждый слой наследует ограничения предыдущего.
Anthropic представляет инженерию контекста как естественное продолжение инженерии промптов, определяя её как управление всем контекстом агента, рассматриваемым как конечный ресурс. Статья считает эту постановку уместной, но относит её на шаг назад: речь идёт о том, что означает вопрос и какие доказательства могут на него ответить. Для случая с доверием к бренду подход включает пять шагов: определить намерение, применить правила исследования, идентифицировать источники, проверить последовательность, затем вычислить с помощью разрешённого инструмента и представить результат с его определением, базой респондентов, взвешиванием и источником.
Наконец, автор подчёркивает прослеживаемость. Каждый результат должен быть связан с исходной таблицей, определением, фильтрами, взвешиванием, периодом и использованным вычислением.
