В основе обучения таких моделей, как Gemini, Llama или GPT, лежит понятие, заимствованное из теории информации: перекрёстная энтропия. Статья, опубликованная Machine Learning Mastery, показывает, как эта концепция, связанная с измерением неопределённости, позволяет объяснить, как большие языковые модели (LLM) учатся предсказывать следующее слово.
Измерение неожиданности
Информационная энтропия родилась в 1948 году благодаря работам Клода Шеннона. Она служит для измерения неопределённости или «неожиданности», содержащейся в распределении вероятностей. В статье приводится пример с двумя игральными костями. Первая идеально сбалансирована: каждый бросок непредсказуем, и энтропия высока. Вторая сильно смещена в сторону выпадения грани 6: результат редко удивляет, и энтропия низка. Используется следующая формула: H(P) = – Σ P(x) log₂ P(x). Она достигает максимума, когда все вероятности равны, то есть для равномерного распределения, как у первой кости. Чем сильнее некоторые исходы выделяются среди остальных, тем ниже энтропия.
Когда модель угадывает следующее слово
LLM генерирует текст слово за словом, или, точнее, токен за токеном, где токен — это единица текста, которой оперирует модель. На каждом шаге её последний слой присваивает вероятность каждому элементу своего словаря, который обычно содержит несколько десятков тысяч слов. Если модель колеблется, распределение вероятностей размазано, и энтропия высока. Если она очень уверена в себе, она присваивает очень высокую вероятность конкретному слову, например, «tatami» во фразе «the cat sat on the…», и энтропия низка. Именно здесь вступает в игру перекрёстная энтропия — функция потерь, используемая для управления обучением. Она сравнивает распределение, предсказанное моделью, с реальным распределением, которое присваивает 100% фактически наблюдаемому слову и 0% всем остальным. Минимизация этого значения приводит к постепенной сходимости уверенности модели к правильным словам. В статье подчёркивается, что этот процесс, повторённый на миллионах или миллиардах примеров, позволяет модели научиться выдавать связные ответы.
Пример на Python
В статье предлагается небольшой скрипт, который не загружает реальную LLM, но иллюстрирует работу перекрёстной энтропии. Словарь ограничен пятью словами: «apple», «banana», «cat», «dog» и «elephant». Целевое слово — «cat». Сравниваются три предсказания: «Уверенное и правильное», которое присваивает 0,90 слову «cat»; «Уверенное, но ошибочное», которое даёт 0,80 слову «apple»; и «Неуверенное (равномерное)», которое распределяет вероятность поровну между пятью словами, то есть по 0,20 каждому. Результаты отображаются в виде интерактивных столбчатых диаграмм с помощью библиотеки Plotly. По словам автора, третье предсказание соответствует максимальной энтропии, поскольку модель полностью не уверена. Второе, хотя и очень уверенное, ошибается, что приводит к высокой перекрёстной энтропии. В статье напоминается, что эти две ситуации — неопределённость и ошибка — обрабатываются одновременно при попытке уменьшить перекрёстную энтропию во время обучения.
