Поместится ли модель ИИ на вашу видеокарту? Этот калькулятор оценивает необходимую память для запуска модели локально и показывает для каждой машины, поместится ли она и с какой скоростью будет генерировать текст.
Как использовать
- Введите размер модели в миллиардах параметров; для модели MoE добавьте также количество активных параметров.
- Выберите квантование, размер контекста, тип кэша KV и количество параллельных запросов.
- Укажите количество одинаковых GPU, объем системной оперативной памяти и её пропускную способность.
- Ознакомьтесь с таблицей: каждая машина помечена как «помещается в память», «переполняется на ОЗУ» или «не помещается».
Принципы расчета
- Веса занимают параметры × бит на вес ÷ 8: квантование напрямую уменьшает этот объем.
- Кэш KV растет с размером контекста и количеством одновременных запросов: 2 × слои × головы KV × размерность головы × байт на значение × контекст × параллелизм. Инструмент использует типичную архитектуру в зависимости от размера модели.
- Фиксированная надбавка в 0,8 ГБ плюс 5% от веса модели добавляется для буферов и времени выполнения.
- Генерация ограничена пропускной способностью памяти: скорость ≈ 60% пропускной способности ÷ активные веса. Если модель переполняется на ОЗУ, расчет комбинирует часть в GPU и часть в ОЗУ, которая значительно медленнее.
Важные ограничения
Это оценки для типичной архитектуры; модели с эффективным вниманием требуют меньше кэша. Скорость не включает обработку промпта. Значения для машин указаны производителями.
