IA locale et RAG : guide pour utiliser des modèles sur ses données

IA locale et RAG : guide pour utiliser des modèles sur ses données
16 min de lecture

Faire tourner un modèle de langage sur votre machine et lui faire répondre à partir de vos documents sont deux projets distincts, qui se combinent. L’IA locale garde les requêtes sur votre matériel ; le RAG, ou génération augmentée par récupération, va chercher les passages utiles dans vos fichiers avant de rédiger la réponse. Avec 16 Go de mémoire, un lanceur comme Ollama ou LM Studio et un modèle quantifié de quelques milliards de paramètres, vous pouvez déjà tester les deux sans abonnement.

Ce guide sépare volontairement les deux parcours. Le premier répond à la question « comment exécuter un modèle chez moi ? » : matériel, choix du modèle, outils. Le second répond à « comment l’interroger sur mes données sans qu’il invente ? » : découpage des documents, recherche, citations et contrôle. Les deux se rejoignent dans une architecture commune, décrite plus bas. Les versions et chiffres cités ont été vérifiés en novembre 2026 sur les documentations officielles ; ils évoluent vite et doivent être revérifiés avant tout achat de matériel. Pour aller plus loin, lisez notre article « Recherche SQL FULLTEXT vs base vectorielle : quel moteur pour un RAG ? ».

Pourquoi faire tourner une IA en local ?

La première raison est la maîtrise des données. Quand le modèle tourne sur votre poste ou sur un serveur interne, le texte que vous lui soumettez n’a pas besoin de transiter par un service tiers. La documentation d’Ollama précise ainsi qu’en exécution locale, l’outil n’a pas accès à vos prompts, et que les fonctions cloud peuvent être désactivées par la variable OLLAMA_NO_CLOUD=1 ou par un réglage dans ~/.ollama/server.json (FAQ d’Ollama). LM Studio indique de son côté que les conversations et les documents joints pour le RAG restent sur la machine, Internet n’étant requis que pour chercher et télécharger des modèles ou des mises à jour (documentation hors ligne de LM Studio).

Viennent ensuite la prévisibilité des coûts et la stabilité. Un modèle local ne facture pas au token : vous payez le matériel et l’électricité, quel que soit le volume. Vous figez aussi la version du modèle, ce qui évite qu’une mise à jour côté fournisseur change le comportement d’une application déjà validée. Enfin, l’exécution fonctionne hors connexion une fois les fichiers téléchargés, un argument pour les déplacements ou les sites isolés.

Il faut en revanche accepter des compromis. Les modèles qui tiennent sur un ordinateur portable restent en général moins performants que les grands modèles des API commerciales sur le raisonnement complexe, et la vitesse dépend directement de votre carte graphique ou de votre puce. L’installation, les mises à jour et la sécurité du service deviennent aussi votre responsabilité.

Le vocabulaire indispensable

  • Poids : les paramètres appris par le modèle, distribués sous forme de fichiers de plusieurs gigaoctets. Leur nombre (8B pour 8 milliards, par exemple) détermine en grande partie la mémoire nécessaire.
  • Quantification : la réduction de la précision de ces poids (de 16 bits à 8 ou 4 bits par exemple), qui divise la taille du fichier au prix d’une perte de qualité plus ou moins sensible.
  • Fenêtre de contexte : le nombre maximal de tokens (fragments de mots) que le modèle peut traiter en une fois, question, historique et documents compris.
  • Open weights et open source : un modèle dont seuls les poids sont publiés est « à poids ouverts ». La définition de l’IA open source de l’Open Source Initiative (version 1.0) exige davantage : des informations détaillées sur les données d’entraînement, le code complet d’entraînement et d’inférence, et les paramètres, le tout sous des conditions approuvées par l’OSI (Open Source AI Definition). La plupart des modèles que vous installerez sont donc des modèles à poids ouverts, sous des licences plus ou moins permissives.

Matériel, modèles et outils pour démarrer

La mémoire est le premier critère, avant la puissance de calcul. Un modèle doit tenir en entier dans la mémoire vidéo (VRAM) de la carte graphique, ou dans la mémoire unifiée d’un Mac à puce Apple, pour tourner à une vitesse confortable. Ce qui déborde est déporté vers la RAM et le processeur, ce qui fonctionne mais ralentit nettement. Le besoin total se décompose en trois postes : les poids, le cache clé-valeur (cache KV) qui grandit avec la longueur du contexte, et une marge pour le logiciel et le système.

Google publie pour sa famille Gemma 4 un tableau utile pour fixer les ordres de grandeur. Il indique la mémoire nécessaire au seul chargement des poids, avec environ 20 % de marge incluse mais sans le cache KV (documentation Gemma de Google, consultée en novembre 2026).

Modèle Gemma 4 16 bits (BF16) 8 bits (SFP8) 4 bits (Q4_0)
E2B 11,4 Go 5,7 Go 2,9 Go
E4B 17,9 Go 8,9 Go 4,5 Go
12B 26,7 Go 13,4 Go 6,7 Go
26B A4B (à experts) 57,7 Go 28,8 Go 14,4 Go
31B 69,9 Go 34,9 Go 17,5 Go

Deux enseignements ressortent de ce tableau. D’abord, la quantification en 4 bits divise environ par quatre l’empreinte par rapport au 16 bits, ce qui explique pourquoi les lanceurs proposent presque toujours des versions quantifiées par défaut. Ensuite, un modèle à experts (MoE) comme le 26B A4B n’active que 4 milliards de paramètres par token, mais Google précise que les 26 milliards doivent tout de même être chargés en mémoire : l’architecture accélère le calcul, pas le stockage.

Trois configurations types

Ces chiffres permettent de raisonner sur des cas concrets, à affiner avec le calculateur pour modèle IA local du site, qui estime la mémoire occupée et la vitesse pour une carte ou un Mac donnés :

  • Ordinateur portable de 16 Go sans carte graphique dédiée : visez les modèles de 2 à 4 milliards de paramètres effectifs en 4 bits (moins de 5 Go de poids pour Gemma 4 E4B), avec un contexte modeste. C’est suffisant pour reformuler, résumer ou extraire des informations d’un texte court.
  • PC avec une carte de 8 Go de VRAM : un modèle de la classe 8 à 12 milliards de paramètres en 4 bits (6,7 Go de poids pour Gemma 4 12B) tient, mais la marge restante pour le cache KV est faible. Réduisez le contexte ou acceptez un débordement partiel vers la RAM.
  • Mac ou station avec 32 Go de mémoire disponible : les modèles de 26 à 31 milliards de paramètres en 4 bits deviennent accessibles (14,4 à 17,5 Go de poids pour Gemma 4), avec de la place pour un contexte plus long.

Côté outils, deux lanceurs dominent pour un premier usage. Ollama, publié sous licence MIT, fonctionne en ligne de commande et en application, et expose une API locale sur le port 11434 ; sa dernière version stable sur GitHub était la v0.40.16, publiée le 9 novembre 2026. LM Studio, gratuit y compris pour un usage professionnel depuis juillet 2025, privilégie l’interface graphique, prend en charge les formats GGUF et MLX et propose lui aussi un serveur compatible avec l’API d’OpenAI. Notre comparatif Ollama vs LM Studio détaille leurs différences, et notre tutoriel Ollama pas à pas couvre l’installation et l’API.

Pour les modèles, retenez quatre critères : la taille compatible avec votre mémoire, la qualité en français, la tâche visée (rédaction, code, extraction, vision) et la licence. Plusieurs familles récentes sont publiées sous licence Apache 2.0, qui autorise l’usage commercial : Gemma 4 chez Google, Qwen3.5 chez Alibaba, Ministral 3 chez Mistral AI ou encore gpt-oss chez OpenAI. Notre sélection des meilleurs modèles d’IA locaux les compare par usage et par machine.

Qu’est-ce que le RAG et quand en a-t-on besoin ?

Le RAG (retrieval-augmented generation) associe un modèle de langage à un moteur de recherche documentaire. Le terme vient d’un article de Patrick Lewis et de ses coauteurs, soumis en mai 2020, qui décrivait des modèles combinant une mémoire « paramétrique », celle des poids, et une mémoire « non paramétrique », un index de documents interrogé à la demande (Lewis et al., 2020). Dans la pratique actuelle, le principe reste le même : avant de répondre, le système recherche les passages pertinents dans votre corpus, les insère dans le prompt, puis demande au modèle de s’appuyer sur eux. Pour approfondir, consultez « Chunking RAG : comment découper ses documents pour mieux répondre ? ».

Cette approche répond à deux limites des modèles seuls. Un LLM ne connaît pas vos documents internes, et ses connaissances s’arrêtent à la date de son entraînement. Le RAG lui fournit au moment de la question un contenu à jour et vérifiable, ce qui permet aussi d’exiger des citations. Il ne modifie pas le modèle : ajouter ou retirer un document suffit à mettre à jour ce qu’il « sait ».

Une grille pour décider

Le RAG n’est pas toujours nécessaire. Selon la taille du corpus et la fréquence de ses mises à jour, une solution plus simple peut suffire. La grille suivante résume les situations les plus courantes ; elle reflète notre analyse éditoriale, pas un standard.

Situation Solution la plus simple Pourquoi
Un ou deux documents courts à analyser ponctuellement Coller le texte dans le prompt Le contenu tient dans la fenêtre de contexte, aucune indexation n’est utile.
Des centaines de documents, questions variées RAG Seuls les passages pertinents sont envoyés, ce qui économise le contexte et permet de citer la source.
Documents mis à jour souvent (procédures, tarifs, FAQ) RAG Il suffit de réindexer ; le modèle ne change pas.
Besoin d’un ton, d’un format ou d’un vocabulaire métier constant Prompt système, puis éventuellement fine-tuning Il s’agit d’un comportement à apprendre, pas d’une connaissance à retrouver.
Le système doit agir (envoyer un e-mail, modifier un fichier) Agent avec outils La recherche documentaire ne suffit plus ; il faut des permissions et une supervision.

La frontière entre RAG et ajustement du modèle fait l’objet d’un article dédié de la série, RAG vs fine-tuning. Quant au dernier cas du tableau, il relève d’une autre logique : si votre projet consiste à donner au modèle des outils pour agir, notre guide des agents IA explique comment les concevoir et les encadrer. Nous détaillons ce point dans « RAG vs fine-tuning : comment choisir entre les deux ? ».

Comment construire une recherche documentaire fiable ?

Un RAG se construit en deux temps. L’indexation prépare les documents une fois pour toutes ; l’interrogation se déroule à chaque question. La qualité finale dépend beaucoup plus de la première étape que du choix du modèle de génération : un passage mal découpé ou introuvable ne sera jamais cité correctement, quel que soit le LLM.

  1. Extraire le texte des PDF, pages web ou fichiers bureautiques, en conservant les titres, la source et la date de chaque document. Les tableaux et les PDF numérisés demandent souvent un traitement spécifique.
  2. Découper le texte en passages (le chunking), par taille fixe, par paragraphe ou par section. La bonne granularité dépend du type de document ; notre article sur le choix d’une stratégie de chunking propose un arbre de décision.
  3. Indexer les passages : soit par mots-clés (recherche plein texte classique), soit par vecteurs (embeddings), soit les deux. Ollama expose par exemple un point d’accès /api/embed qui renvoie des vecteurs normalisés ; sa documentation recommande la similarité cosinus et l’usage du même modèle d’embedding pour l’indexation et pour les requêtes (documentation des embeddings d’Ollama).
  4. Rechercher les passages les plus proches de la question, puis éventuellement les reclasser.
  5. Générer la réponse en demandant au modèle de s’appuyer uniquement sur les passages fournis, de citer leur source et de répondre « je ne sais pas » si l’information manque.

Le choix entre recherche plein texte et base vectorielle n’est pas idéologique. La recherche par mots-clés excelle sur les références exactes (un numéro d’article, un code produit), la recherche vectorielle sur les reformulations et les synonymes. Beaucoup de systèmes combinent les deux. La série consacre un article à la comparaison entre recherche SQL FULLTEXT et base vectorielle, et un autre aux embeddings et à la recherche sémantique. Le sujet fait l’objet d’un article dédié : « Embeddings : comprendre les vecteurs et la recherche sémantique ».

Où un RAG échoue le plus souvent

  • Contexte trop court : en dessous de 24 Gio de VRAM, Ollama alloue par défaut une fenêtre de 4 096 tokens selon sa documentation. Dix passages de 400 tokens, plus la question et les consignes, la saturent déjà. Augmentez-la (variable OLLAMA_CONTEXT_LENGTH ou paramètre num_ctx) en tenant compte de la mémoire supplémentaire.
  • Passages coupés au mauvais endroit : une définition séparée de son titre, un tableau éclaté sur deux morceaux.
  • Modèle d’embedding mal adapté au français ou différent entre indexation et requête.
  • Absence de citations : sans source affichée, l’utilisateur ne peut pas distinguer une réponse fondée d’une invention.
  • Pas de jeu de questions de référence : sans évaluation régulière, une régression passe inaperçue après une mise à jour du corpus ou du modèle.

Pour ce dernier point, constituez une trentaine de questions dont vous connaissez la réponse et le document source, puis vérifiez à chaque changement que le bon passage est retrouvé et que la réponse le cite. Notre guide pour évaluer un modèle de langage détaille les méthodes de mesure applicables. La mise en pratique complète, du corpus à l’interface, fera l’objet d’un tutoriel pour créer un chatbot RAG sur vos documents.

Sécurité, coûts, licences et limites

Local ne veut pas dire sûr par défaut. Ollama écoute par défaut sur 127.0.0.1, c’est-à-dire uniquement sur la machine elle-même ; le rendre accessible au réseau via OLLAMA_HOST=0.0.0.0 expose une API sans authentification native à tous les postes qui peuvent la joindre. Si plusieurs personnes doivent l’utiliser, placez-la derrière un proxy authentifié ou un pare-feu. Pensez aussi que les mises à jour automatiques et le téléchargement de modèles génèrent du trafic sortant, à documenter si votre politique de sécurité l’exige.

Le RAG ajoute ses propres risques. L’OWASP classe l’injection de prompt en tête de son Top 10 2025 des applications de LLM et souligne que des instructions malveillantes peuvent arriver par des sources externes, comme des fichiers ou des pages web, et que le RAG ne supprime pas ce risque (OWASP, LLM01:2025). Un document piégé dans votre corpus peut donc influencer les réponses. L’autre risque est la fuite par le contexte : si l’index contient des documents RH, un utilisateur sans habilitation ne doit pas pouvoir les faire remonter par une question habile. Le filtrage par droits d’accès doit s’appliquer au moment de la recherche, pas seulement dans l’interface.

L’ANSSI a publié en avril 2024 des recommandations de sécurité pour les systèmes d’IA générative qui s’appliquent directement à ces projets (guide ANSSI-PA-102). On y trouve notamment l’utilisation de formats de modèles sécurisés (R6), la prise en compte du besoin d’en connaître dès la conception (R8), le filtrage des entrées et sorties (R25), la limitation des actions automatiques déclenchées à partir d’entrées non maîtrisées (R27) et la journalisation des traitements (R29). Un article de la série sera consacré à la sécurité d’un système RAG.

Côté coûts, l’équation est simple à poser mais pas à trancher. Le local remplace une facture à l’usage par un investissement matériel et du temps d’administration ; il devient intéressant quand les volumes sont élevés et réguliers, ou quand la confidentialité interdit le cloud. Pour un usage occasionnel, une API facturée au token reste souvent plus économique et plus performante. Le comparateur interactif de modèles du site aide à situer les modèles commerciaux face à cette alternative.

Les licences, enfin, varient fortement d’un modèle à l’autre. Gemma 4, Qwen3.5, Ministral 3 et gpt-oss sont publiés sous Apache 2.0. Mistral Large 4, dont les poids ont été publiés fin octobre 2026, relève d’une licence propre dérivée de la licence MIT, qui exige une licence commerciale séparée pour l’exploiter en service hébergé (model-as-a-service), selon sa fiche Hugging Face. Lisez systématiquement la licence avant un usage commercial ou une redistribution.

Vérifier votre installation en cinq points

  1. Le service n’écoute que sur l’adresse prévue (locale ou réseau interne protégé).
  2. La commande ollama ps, ou l’équivalent de votre lanceur, montre le modèle chargé à 100 % sur le GPU si c’est l’objectif, et la longueur de contexte réellement allouée.
  3. Aucune fonction cloud n’est activée si vos données ne doivent pas quitter la machine.
  4. La licence du modèle est compatible avec votre usage, et sa version est notée.
  5. Un jeu de questions de référence permet de mesurer la qualité avant et après chaque modification.

Cette vérification ne garantit pas l’absence de failles : elle établit une base contrôlable, à reprendre à chaque mise à jour de l’outil ou du modèle.

Tutoriels et outils de dimensionnement

Ce guide sert de point d’entrée à une série d’articles pratiques, publiés progressivement. Le parcours « exécution locale » commence par installer une IA locale sur Windows, macOS ou Linux, se poursuit avec un tutoriel Ollama consacré aux commandes et à l’API, puis avec le comparatif Ollama vs LM Studio. Il se complète par la sélection du meilleur modèle d’IA local selon la tâche et par un guide sur la RAM et la VRAM nécessaires à un LLM local, avec des simulations chiffrées. Nous détaillons ce point dans « Quel modèle d’IA choisir ? Guide et comparatif des LLM ».

Le parcours « questions sur documents » démarre par une définition détaillée de ce qu’est le RAG et de son architecture, puis aborde le choix entre RAG et fine-tuning, les embeddings, le chunking, la comparaison entre FULLTEXT et base vectorielle, la création d’un chatbot RAG sur vos documents et la sécurité d’un RAG. Les deux parcours peuvent se suivre indépendamment. Pour aller plus loin, lisez notre article « RAG : définition, architecture et exemples concrets ».

Mesurer avant d’acheter

Avant d’investir dans une carte graphique, testez avec ce que vous avez. Installez un lanceur, chargez un petit modèle quantifié, puis notez trois valeurs : la mémoire occupée, la vitesse de génération en tokens par seconde (Ollama la fournit via les champs eval_count et eval_duration de son API) et la qualité des réponses sur une dizaine de questions représentatives de votre usage. Comparez ensuite avec l’estimation du calculateur du site pour la machine envisagée.

Cette méthode a ses limites : les vitesses varient selon le pilote, la version du lanceur et le format du modèle, et la qualité en français ne se lit dans aucun tableau de mémoire. Elle a toutefois l’avantage de reposer sur vos propres données, ce qui reste le meilleur indicateur pour un projet d’IA locale ou de RAG.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x