The AI / news

Сжатие моделей ИИ выходит за рамки одной лишь квантизации

Сжатие моделей ИИ выходит за рамки одной лишь квантизации
3 мин чтения

Квантизация — не единственный способ сжать модель ИИ. В статье на Machine Learning Mastery представлены два других подхода: прореживание и дистилляция знаний, которые сокращают количество значений или размер структур, а не их формат. Меньшая модель может ускорить вывод, при условии сохранения ожидаемого для приложения поведения.

Квантизация меняет способ представления значений модели. Прореживание же обнуляет некоторые параметры или удаляет более широкие структуры. Дистилляция обучает небольшую модель, называемую «учеником», воспроизводить поведение более крупной модели, называемой «учителем».

Прореживание и разреженность

Метод, называемый «по величине», основан на простом предположении: веса с малым абсолютным значением оказывают меньшее влияние на выходные данные. Приведенный пример кода применяет этот принцип к матрице 1024 × 1024 с коэффициентом 0,5, то есть половина весов предназначена для удаления.

Однако прореженная матрица все равно хранится в плотном формате. Формат CSR (compressed sparse row) сохраняет только ненулевые значения вместе с метаданными позиций. Согласно статье, он сокращает память только если эти метаданные стоят меньше, чем удаленные данные, и ускоряет вычисления только если форма матрицы, уровень разреженности, тип данных и оборудование имеют эффективное ядро для разреженных вычислений.

Структурное прореживание и дистилляция

Структурное прореживание удаляет целые единицы, такие как головы внимания, каналы MLP, слои или блоки. Результат часто можно выразить в виде меньшей плотной модели, которую легче ускорить на различном оборудовании. В MLP трансформера каждый промежуточный канал создается строкой восходящей проекции и потребляется столбцом нисходящей проекции: удаление одного требует удаления другого.

В статье уточняется, что параметр keep_channels обозначает количество каналов, а не долю. Установка его на 2048 сокращает промежуточную ширину с 8192 до 2048 каналов. Код гарантирует совместимость форм тензоров, но не доказывает, что сохраненные каналы являются наименее важными: реальный метод оценивает выходы слоев и проводит восстановительную дообучение. Удаление голов внимания требует согласованных изменений, а с GQA, вариантом, где несколько голов запроса используют одну общую KV-голову, произвольное удаление может нарушить эти группировки.

Дистилляция же обучает ученика на основе сигналов от учителя: распределения выходных данных, промежуточных представлений или сгенерированных данных. Функция потерь основана на температуре T и дивергенции Кульбака-Лейблера, равной нулю, когда два распределения совпадают. Пример кода обучает две небольшие модели типа GPT-2, инициализированные случайно, на одном шаге. В статье уточняется, что он не создает полезную модель: реальный эксперимент требует предобученного учителя и репрезентативного текста.

Для серьезного сравнения статья рекомендует измерять, на одних и тех же запросах и оборудовании, качество на отложенных данных, размер параметров в байтах, максимальную память, задержку предварительного заполнения и пропускную способность декодирования. Прореживание или дистилляция могут изменить поведение модели, даже когда количество параметров сильно снижается.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x