The AI / news

Локальный ИИ и RAG : руководство по использованию моделей на своих данных

Локальный ИИ и RAG : руководство по использованию моделей на своих данных
1 мин чтения

Запуск языковой модели на вашем компьютере и получение ответов на основе ваших документов — это два отдельных, но сочетаемых проекта. Локальный ИИ оставляет запросы на вашем оборудовании; RAG, или генерация, дополненная извлечением, ищет полезные фрагменты в ваших файлах перед составлением ответа. Имея 16 ГБ памяти, запускающее ПО вроде Ollama или LM Studio и квантованную модель в несколько миллиардов параметров, вы уже можете протестировать оба подхода без подписки.

Это руководство сознательно разделяет два пути. Первый отвечает на вопрос «как запустить модель у себя?»: оборудование, выбор модели, инструменты. Второй отвечает на «как задавать ей вопросы по моим данным, чтобы она не выдумывала?»: разбиение документов, поиск, цитирование и контроль. Оба пути сходятся в общей архитектуре, описанной ниже. Версии и цифры проверены в ноябре 2026 года по официальной документации; они быстро меняются и должны быть перепроверены перед любой покупкой оборудования. Для углубления прочитайте нашу статью «Поиск SQL FULLTEXT vs векторная база: какой движок для RAG?».

Зачем запускать ИИ локально?

Первая причина — контроль над данными. Когда модель работает на вашем компьютере или внутреннем сервере, текст, который вы ей передаете, не нужно отправлять через сторонний сервис. Документация Ollama уточняет, что при локальном выполнении инструмент не имеет доступа к вашим промптам, а облачные функции можно отключить переменной OLLAMA_NO_CLOUD=1 или настройкой в ~/.ollama/server.json (FAQ Ollama). LM Studio, со своей стороны, указывает, что разговоры и документы, прикрепленные для RAG, остаются на машине, а интернет требуется только для поиска и загрузки моделей или обновлений (офлайн-документация LM Studio).

Далее идут предсказуемость затрат и стабильность. Локальная модель не тарифицируется за токен: вы платите за оборудование и электричество независимо от объема. Вы также фиксируете версию модели, что предотвращает изменение поведения уже проверенного приложения из-за обновления у поставщика. Наконец, выполнение работает без подключения после загрузки файлов — аргумент для поездок или изолированных площадок.

Однако придется идти на компромиссы. Модели, которые помещаются на ноутбук, обычно менее эффективны, чем крупные модели коммерческих API, в сложных рассуждениях, а скорость напрямую зависит от вашей видеокарты или чипа. Установка, обновления и безопасность сервиса также становятся вашей ответственностью.

Необходимый словарь

  • Размер: параметры, изученные моделью, распространяемые в виде файлов размером в несколько гигабайт. Их количество (8B для 8 миллиардов, например) во многом определяет необходимую память.
  • Квантование: снижение точности этих параметров (например, с 16 бит до 8 или 4 бит), что уменьшает размер файла ценой более или менее заметной потери качества.
  • Контекстное окно: максимальное количество токенов (фрагментов слов), которое модель может обработать за раз, включая вопрос, историю и документы.
  • Open weights и open source: модель, у которой опубликованы только веса, является «моделью с открытыми весами». Определение open source ИИ от Open Source Initiative (версия 1.0) требует большего: подробную информацию о данных обучения, полный код обучения и вывода, а также параметры — всё на условиях, одобренных OSI (Open Source AI Definition). Большинство моделей, которые вы будете устанавливать, являются моделями с открытыми весами под более или менее разрешительными лицензиями.

Оборудование, модели и инструменты для старта

Память — первый критерий, важнее вычислительной мощности. Модель должна полностью помещаться в видеопамять (VRAM) видеокарты или в унифицированную память Mac на чипе Apple, чтобы работать с комфортной скоростью. То, что не помещается, перемещается в оперативную память и процессор, что работает, но значительно замедляет работу. Общая потребность складывается из трех составляющих: веса, кэш «ключ-значение» (KV cache), который растет с длиной контекста, и запас для ПО и системы.

Google публикует для своего семейства Gemma 4 полезную таблицу для определения порядка величин. В ней указана память, необходимая только для загрузки весов, с учетом примерно 20% запаса, но без KV cache (документация Gemma от Google, проверено в ноябре 2026).

Модель Gemma 4 16 бит (BF16) 8 бит (SFP8) 4 бит (Q4_0)
E2B 11,4 ГБ 5,7 ГБ 2,9 ГБ
E4B 17,9 ГБ 8,9 ГБ 4,5 ГБ
12B 26,7 ГБ 13,4 ГБ 6,7 ГБ
26B A4B (экспертная) 57,7 ГБ 28,8 ГБ 14,4 ГБ
31B 69,9 ГБ 34,9 ГБ 17,5 ГБ

Из этой таблицы следуют два вывода. Во-первых, квантование в 4 бита уменьшает занимаемый объем примерно в четыре раза по сравнению с 16 битами, что объясняет, почему запускающие ПО почти всегда предлагают квантованные версии по умолчанию. Во-вторых, экспертная модель (MoE), такая как 26B A4B, активирует только 4 миллиарда параметров на токен, но Google уточняет, что все 26 миллиардов все равно должны быть загружены в память: архитектура ускоряет вычисления, а не хранение.

Три типовые конфигурации

Эти цифры позволяют оценить конкретные случаи, уточнив с помощью калькулятора для локальной ИИ-модели на сайте, который оценивает занимаемую память и скорость для данной карты или Mac:

  • Ноутбук с 16 ГБ без выделенной видеокарты: ориентируйтесь на модели с 2–4 миллиардами эффективных параметров в 4 бита (менее 5 ГБ весов для Gemma 4 E4B) с небольшим контекстом. Этого достаточно для перефразирования, суммирования или извлечения информации из короткого текста.
  • ПК с видеокартой на 8 ГБ VRAM: модель класса 8–12 миллиардов параметров в 4 бита (6,7 ГБ весов для Gemma 4 12B) поместится, но оставшийся запас для KV cache мал. Уменьшите контекст или согласитесь на частичное перетекание в оперативную память.
  • Mac или станция с 32 ГБ доступной памяти: модели с 26–31 миллиардами параметров в 4 бита становятся доступны (14,4–17,5 ГБ весов для Gemma 4), с местом для более длинного контекста.

Что касается инструментов, два запускающих ПО доминируют для начального использования. Ollama, опубликованный под лицензией MIT, работает из командной строки и как приложение и предоставляет локальный API на порту 11434; его последняя стабильная версия на GitHub была v0.40.16, выпущенная 9 ноября 2026 года. LM Studio, бесплатный, включая профессиональное использование с июля 2025 года, ориентирован на графический интерфейс, поддерживает форматы GGUF и MLX и также предоставляет сервер, совместимый с API OpenAI. Наше сравнение Ollama vs LM Studio детализирует их различия, а наш пошаговый туториал по Ollama охватывает установку и API.

Для моделей учитывайте четыре критерия: размер, совместимый с вашей памятью, качество на французском, целевая задача (написание текста, код, извлечение, компьютерное зрение) и лицензия. Несколько недавних семейств опубликованы под лицензией Apache 2.0, разрешающей коммерческое использование: Gemma 4 от Google, Qwen3.5 от Alibaba, Ministral 3 от Mistral AI или gpt-oss от OpenAI. Наша подборка лучших локальных ИИ-моделей сравнивает их по задачам и машинам.

Что такое RAG и когда он нужен?

RAG (retrieval-augmented generation) сочетает языковую модель с поисковым движком по документам. Термин происходит из статьи Патрика Льюиса и его соавторов, представленной в мае 2020 года, где описывались модели, сочетающие «параметрическую» память (веса) и «непараметрическую» память — индекс документов, запрашиваемый по требованию (Lewis et al., 2020). На практике принцип остается тем же: перед ответом система ищет релевантные фрагменты в вашем корпусе, вставляет их в промпт, а затем просит модель опираться на них. Для углубления см. «Chunking RAG: как разбивать документы для лучших ответов?».

Этот подход решает два ограничения моделей самих по себе. LLM не знает ваши внутренние документы, и его знания ограничены датой его обучения. RAG предоставляет ему актуальную и проверяемую информацию в момент вопроса, что также позволяет требовать цитирования. Он не изменяет модель: чтобы обновить то, что она «знает», достаточно добавить или удалить документ.

Сетка для принятия решения

RAG не всегда необходим. В зависимости от размера корпуса и частоты его обновлений может хватить более простого решения. Следующая сетка суммирует наиболее распространенные ситуации; она отражает нашу редакционную аналитику, а не стандарт.

Ситуация Самое простое решение Почему
Один или два коротких документа для периодического анализа Вставить текст в промпт Содержание помещается в контекстное окно, индексация не нужна.
Сотни документов, разнообразные вопросы RAG Отправляются только релевантные фрагменты, что экономит контекст и позволяет цитировать источник.
Часто обновляемые документы (процедуры, прайсы, FAQ) RAG Достаточно переиндексировать; модель не меняется.
Нужен постоянный тон, формат или профессиональная лексика Системный промпт, затем, возможно, тонкая настройка Это поведение, которому нужно научиться, а не знание, которое нужно найти.
Система должна действовать (отправить email, изменить файл) Агент с инструментами Поиск по документам уже недостаточен; нужны разрешения и контроль.

Граница между RAG и тонкой настройкой модели рассматривается в отдельной статье серии, RAG vs fine-tuning. Что касается последнего случая в таблице, он относится к другой логике: если ваш проект предполагает предоставление модели инструментов для действий, наш гид по ИИ-агентам объясняет, как их проектировать и контролировать. Мы детализируем это в «RAG vs fine-tuning: как выбрать между ними?».

Как построить надежный поиск по документам?

RAG строится в два этапа. Индексация готовит документы раз и навсегда; запрос выполняется при каждом вопросе. Конечное качество зависит от первого этапа гораздо больше, чем от выбора модели генерации: неправильно разбитый или ненайденный фрагмент никогда не будет корректно процитирован, независимо от LLM.

  1. Извлечь текст из PDF, веб-страниц или офисных файлов, сохраняя заголовки, источник и дату каждого документа. Таблицы и отсканированные PDF часто требуют специальной обработки.
  2. Разбить текст на фрагменты (chunking) — по фиксированному размеру, по абзацам или по разделам. Правильная гранулярность зависит от типа документа; наша статья о выборе стратегии chunking предлагает дерево решений.
  3. Проиндексировать фрагменты: либо по ключевым словам (классический полнотекстовый поиск), либо по векторам (эмбеддинги), либо и то, и другое. Ollama, например, предоставляет эндпоинт /api/embed, возвращающий нормализованные векторы; его документация рекомендует косинусное сходство и использование одной и той же модели эмбеддингов для индексации и запросов (документация по эмбеддингам Ollama).
  4. Найти фрагменты, наиболее близкие к вопросу, затем, возможно, переранжировать их.
  5. Сгенерировать ответ, попросив модель опираться только на предоставленные фрагменты, цитировать их источник и отвечать «я не знаю», если информации недостаточно.

Выбор между полнотекстовым поиском и векторной базой не идеологичен. Поиск по ключевым словам отлично работает с точными ссылками (номер статьи, код продукта), векторный поиск — с перефразированием и синонимами. Многие системы комбинируют оба подхода. Серия включает статью о сравнении поиска SQL FULLTEXT и векторной базы, и другую — об эмбеддингах и семантическом поиске. Этой теме посвящена отдельная статья: «Эмбеддинги: понимание векторов и семантического поиска».

Где RAG чаще всего терпит неудачу

  • Слишком короткий контекст: при менее 24 ГБ VRAM Ollama по умолчанию выделяет окно в 4096 токенов согласно документации. Десять фрагментов по 400 токенов плюс вопрос и инструкции уже заполняют его. Увеличьте его (переменная OLLAMA_CONTEXT_LENGTH или параметр num_ctx), учитывая дополнительную память.
  • Фрагменты, обрезанные в неподходящем месте: определение, отделенное от заголовка, таблица, разорванная на две части.
  • Модель эмбеддингов, плохо адаптированная к французскому или разная между индексацией и запросом.
  • Отсутствие цитирования: без указания источника пользователь не может отличить обоснованный ответ от выдумки.
  • Нет набора эталонных вопросов: без регулярной оценки регрессия после обновления корпуса или модели остается незамеченной.

По последнему пункту составьте около тридцати вопросов, на которые вы знаете ответ и исходный документ, затем проверяйте при каждом изменении, что нужный фрагмент найден и ответ на него ссылается. Наш гид по оценке языковой модели детализирует применимые методы измерения. Полная практическая реализация, от корпуса до интерфейса, будет рассмотрена в туториале по созданию RAG-чатбота на ваших документах.

Безопасность, затраты, лицензии и ограничения

Локальный не означает безопасный по умолчанию. Ollama по умолчанию слушает на 127.0.0.1, то есть только на самой машине; сделать его доступным в сети через OLLAMA_HOST=0.0.0.0 открывает API без встроенной аутентификации всем машинам, которые могут к нему подключиться. Если им должны пользоваться несколько человек, разместите его за аутентифицированным прокси или файрволом. Также учтите, что автоматические обновления и загрузка моделей создают исходящий трафик, который нужно документировать, если того требует ваша политика безопасности.

RAG добавляет свои собственные риски. OWASP ставит инъекцию промптов на первое место в своем Top 10 2025 для LLM-приложений и подчеркивает, что вредоносные инструкции могут поступать из внешних источников, таких как файлы или веб-страницы, и что RAG не устраняет этот риск (OWASP, LLM01:2025). Таким образом, документ-ловушка в вашем корпусе может влиять на ответы. Другой риск — утечка через контекст: если индекс содержит кадровые документы, пользователь без допуска не должен иметь возможности поднять их с помощью хитроумного вопроса. Фильтрация по правам доступа должна применяться на этапе поиска, а не только в интерфейсе.

ANSSI опубликовала в апреле 2024 года рекомендации по безопасности для систем генеративного ИИ, которые напрямую применимы к этим проектам (руководство ANSSI-PA-102). Среди них — использование безопасных форматов моделей (R6), учет принципа «необходимо знать» при проектировании (R8), фильтрация входных и выходных данных (R25), ограничение автоматических действий, запускаемых на основе неконтролируемых входных данных (R27), и журналирование обработки (R29). Статья серии будет посвящена безопасности системы RAG.

Что касается затрат, уравнение просто сформулировать, но не решить. Локальный вариант заменяет оплату по факту использования на инвестиции в оборудование и время администрирования; он становится выгодным при высоких и регулярных объемах или когда конфиденциальность запрещает использование облака. Для эпизодического использования API с тарификацией за токен часто остается более экономичным и производительным. Интерактивный компаратор моделей на сайте помогает сравнить коммерческие модели с этой альтернативой.

Лицензии, наконец, сильно различаются от модели к модели. Gemma 4, Qwen3.5, Ministral 3 и gpt-oss опубликованы под Apache 2.0. Mistral Large 4, чьи веса были опубликованы в конце октября 2026 года, подпадает под собственную лицензию на основе MIT, которая требует отдельной коммерческой лицензии для использования в качестве хостируемого сервиса (model-as-a-service), согласно его странице на Hugging Face. Всегда читайте лицензию перед коммерческим использованием или распространением.

Проверьте вашу установку по пяти пунктам

  1. Сервис слушает только на предусмотренном адресе (локальном или защищенном внутреннем сети).
  2. Команда ollama ps или эквивалент вашего запускающего ПО показывает модель, загруженную на 100% на GPU, если это цель, и фактически выделенную длину контекста.
  3. Никакие облачные функции не активированы, если ваши данные не должны покидать машину.
  4. Лицензия модели совместима с вашим использованием, и ее версия зафиксирована.
  5. Набор эталонных вопросов позволяет измерить качество до и после каждого изменения.

Эта проверка не гарантирует отсутствия уязвимостей: она устанавливает контролируемую основу, которую нужно перепроверять при каждом обновлении инструмента или модели.

Туториалы и инструменты для расчета ресурсов

Это руководство служит отправной точкой для серии практических статей, публикуемых постепенно. Путь «локальное выполнение» начинается с установки локального ИИ на Windows, macOS или Linux, продолжается туториалом по Ollama, посвященным командам и API, затем сравнением Ollama vs LM Studio. Он дополняется подборкой лучшей локальной ИИ-модели в зависимости от задачи и руководством по необходимой оперативной и видеопамяти для локального LLM с цифровым моделированием. Мы детализируем это в «Какую модель ИИ выбрать? Руководство и сравнение LLM».

Путь «вопросы по документам» начинается с подробного определения RAG и его архитектуры, затем рассматривает выбор между RAG и тонкой настройкой, эмбеддинги, chunking, сравнение FULLTEXT и векторной базы, создание RAG-чатбота на ваших документах и безопасность RAG. Оба пути можно проходить независимо. Для углубления прочитайте нашу статью «RAG: определение, архитектура и конкретные примеры».

Измерьте перед покупкой

Прежде чем инвестировать в видеокарту, протестируйте на том, что у вас есть. Установите запускающее ПО, загрузите небольшую квантованную модель, затем запишите три значения: занимаемую память, скорость генерации в токенах в секунду (Ollama предоставляет ее через поля eval_count и eval_duration своего API) и качество ответов на десяток вопросов, репрезентативных для вашего использования. Затем сравните с оценкой калькулятора на сайте для рассматриваемой машины.

У этого метода есть ограничения: скорости варьируются в зависимости от драйвера, версии запускающего ПО и формата модели, а качество на французском не указано ни в одной таблице памяти. Однако он имеет то преимущество, что основан на ваших собственных данных, что остается лучшим показателем для проекта локального ИИ или RAG.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x