Не только проприетарные модели привлекают внимание: для некоторых задач конфигурируемость важнее, чем чистая мощность. Это стремление к контролю способствовало росту популярности моделей, размещаемых локально. С подходящим оборудованием и такими инструментами, как Ollama или LM Studio, способные модели могут работать полностью на устройстве пользователя.
Какие модели стоит устанавливать, и какие будут работать на данном устройстве? В статье выделены пять моделей на 2026 год — LLM (большие языковые модели), выбранные в зависимости от задачи и доступного оборудования.
Пять моделей для разных задач
Первая, Llama 3.1 8B Instruct, служит общей эталонной моделью для локального чата, суммаризации, классификации и проектов fine-tuning, то есть адаптации под конкретные данные. Она работает только с текстом и распространяется по лицензии Llama Community License от Meta, условия которой необходимо проверить перед любым распространением или развертыванием.
Для Qwen2.5 7B выбор зависит от задачи. Версия Qwen2.5-7B-Instruct подходит для многоязычных бесед, обработки документов и структурированных выводов, например, в формате JSON. Qwen2.5-Coder-7B-Instruct ориентирована на генерацию, объяснение и исправление кода. Обе являются текстовыми моделями: для анализа скриншотов нужна альтернатива, способная обрабатывать изображения.
Mistral 7B Instruct v0.3 — это текстовая модель с семью миллиардами параметров, предназначенная для переписывания, суммаризации, документирования и обычного диалога. Её версия v0.3 поддерживает вызов функций, что позволяет интегрировать её с инструментами, выполняемыми приложением, а лицензия Apache 2.0 упрощает проекты по кастомизации. Будучи более старой общей моделью, её стоит сравнить с более новыми моделями на её собственных запросах, прежде чем делать выбор.
Gemma 4 E2B и E4B принимают текст, изображения и аудио и генерируют текст. Они подходят для вопросов по документам, понимания изображений, транскрипции или встроенной помощи при условии, что среда выполнения поддерживает тип входных данных. Их названия относятся к эффективным параметрам: E2B имеет около 5,1 миллиарда параметров, а E4B — 8 миллиардов, включая эмбеддинги. В статье предупреждают: выбор оборудования не должен основываться только на названиях.
Phi-4-mini-instruct от Microsoft — это модель с 3,8 миллиардами параметров, ориентированная на приложения с ограничениями по памяти и чувствительные к задержкам. Она подходит для небольших локальных ассистентов, извлечения информации, решения математических или логических задач и экспериментов с вызовом функций. Модели для рассуждений и мультимодальные модели со схожими названиями представляют собой отдельные контрольные точки с другим поведением и требованиями.
Рейтинг семейств моделей основан на совокупном количестве загрузок в библиотеке Ollama. Поэтому он благоприятствует старым версиям и не отражает качество.
Установка модели с помощью Ollama
По мнению авторов статьи, Ollama, вероятно, самый простой вариант для разработчиков: достаточно установить его, скачать модель и запустить её из терминала, например, командой ollama run gpt-oss:20b. Инструмент предлагает локальные пакеты для phi-4, Gemma 4, Qwen3-Coder и других моделей. Он также предоставляет локальный API, полезный для подключения модели к собственным приложениям или программным агентам.
FAQ в статье дает несколько уточнений. Qwen2.5-Coder-7B-Instruct представлен там как вариант, ориентированный на код, причем сгенерированный код необходимо тестировать перед использованием. Локальное выполнение само по себе не гарантирует конфиденциальность: подключенные инструменты, облачные решения для отката и телеметрия приложений могут передавать данные в другие места. Популярность модели отражает её распространенность, но задача и оборудование определяют наиболее полезный выбор.
