The AI / news

Какую локальную модель ИИ выбрать для моего компьютера ?

  • Инструмент подбирает открытые модели ИИ, которые поместятся в память вашего компьютера.
  • Все расчеты выполняются в браузере, а модель берется в самой точной квантизации, которая помещается в память.
  • Скорость указана диапазоном и зависит от программного обеспечения, драйвера и формата модели.
  • Результаты являются приблизительными оценками, поэтому реальную производительность нужно проверять на своем оборудовании.

Какая модель ИИ запустится на моем компьютере? Выберите вашу видеокарту, Mac или укажите объем памяти: инструмент перечислит открытые модели, которые поместятся, с максимально точной квантизацией, занимаемой памятью и примерной скоростью в токенах в секунду. Все вычисляется в вашем браузере.

Как использовать

  1. Выберите вашу конфигурацию из списка или «Другая конфигурация», чтобы указать объем памяти и пропускную способность.
  2. Укажите количество одинаковых видеокарт и объем оперативной памяти системы: она используется для размещения части модели, когда видеопамяти недостаточно.
  3. Выберите задачу (общение, компьютерное зрение, рассуждение, длинный контекст) и желаемый размер контекста.
  4. Изучите таблицу: сначала идут модели, которые помещаются с запасом, затем те, что помещаются впритык, а затем те, для которых требуется перегрузка в оперативную память, что приводит к снижению скорости.

Как рассчитывается память

Память, необходимая для модели, складывается из трех частей: веса (параметры, умноженные на битность квантизации и деленные на 8), кэш ключей-значений (KV cache), который растет с размером контекста и количеством одновременных запросов, и накладные расходы на выполнение. Для каждой модели инструмент выбирает самую точную квантизацию, которая помещается в память. Параметры, количество слоев и количество голов внимания берутся из публичных конфигураций моделей на Hugging Face, прочитанных на дату, указанную под таблицей, а не из предполагаемых значений.

Чтобы отталкиваться от конкретной модели, а не от вашего железа, используйте инструмент расчета видеопамяти для локального ИИ; чтобы понять, выгоден ли локальный запуск, локальный ИИ или API.

Важные ограничения

Эти цифры являются приблизительными оценками, не откалиброванными по публичным замерам: программное обеспечение для запуска (llama.cpp, Ollama, LM Studio, MLX, vLLM), драйвер и формат модели влияют на реальный результат. Скорость указана в виде диапазона, от 50 до 70% от пропускной способности памяти, деленной на объем весов, читаемых для каждого токена. Для моделей со смесью экспертов (MoE) скорость зависит от активных параметров, которые мы знаем только если название модели их указывает; в противном случае указанная скорость является нижней границей. Для моделей с гибридным вниманием или скользящим окном указанный кэш (помеченный «≤») является верхней оценкой. В списке только модели с читаемой публичной конфигурацией, а лицензии отображаются так, как они заявлены: проверяйте их перед коммерческим использованием. Инструмент не оценивает качество работы на французском языке и реальную производительность на вашем оборудовании.

Частые вопросы

Почему модель, которая «помещается», работает медленно?

Генерация каждого токена требует повторного чтения активных весов из памяти. Если часть модели выгружена в оперативную память системы, пропускная способность которой значительно ниже, чем у видеокарты, скорость падает: инструмент отмечает это как «Помещается с выгрузкой в оперативную память (медленно)».

Моего оборудования нет в списке, что делать?

Выберите «Другая конфигурация» и укажите объем памяти (в ГБ) и пропускную способность памяти (в ГБ/с), указанные производителем.