Lokale AI en RAG : een gids om modellen op je eigen data te gebruiken

Lokale AI en RAG : een gids om modellen op je eigen data te gebruiken

Een taalmodel op je eigen machine draaien en het antwoorden te laten geven op basis van je documenten zijn twee aparte projecten die gecombineerd kunnen worden. Lokale AI houdt de queries op je eigen hardware; RAG, of retrieval-augmented generation, haalt eerst de nuttige passages uit je bestanden op voordat het antwoord wordt opgesteld. Met 16 GB geheugen, een launcher zoals Ollama of LM Studio en een gekwantiseerd model van een paar miljard parameters kun je beide al testen zonder abonnement.

Deze gids scheidt bewust de twee trajecten. Het eerste beantwoordt de vraag ‘hoe draai ik een model bij mij thuis?’: hardware, keuze van het model, tools. Het tweede beantwoordt ‘hoe bevraag ik het over mijn data zonder dat het verzint?’: opdelen van documenten, zoeken, citeren en controle. De twee komen samen in een gemeenschappelijke architectuur, hieronder beschreven. De genoemde versies en cijfers zijn gecontroleerd in november 2026 op basis van de officiële documentatie; ze evolueren snel en moeten opnieuw worden gecontroleerd voor elke hardwareaankoop. Lees voor meer informatie ons artikel ‘SQL FULLTEXT-zoeken vs vector database: welke engine voor een RAG?’.

Waarom een AI lokaal draaien?

De eerste reden is controle over de data. Wanneer het model draait op je eigen pc of op een interne server, hoeft de tekst die je eraan voorlegt niet via een derde dienst te worden verstuurd. De documentatie van Ollama specificeert bijvoorbeeld dat bij lokale uitvoering de tool geen toegang heeft tot je prompts, en dat de cloudfuncties kunnen worden uitgeschakeld via de variabele OLLAMA_NO_CLOUD=1 of via een instelling in ~/.ollama/server.json (FAQ van Ollama). LM Studio vermeldt op zijn beurt dat de gesprekken en de bijgevoegde documenten voor RAG op de machine blijven, waarbij internet alleen nodig is om modellen of updates te zoeken en te downloaden (offline documentatie van LM Studio).

Daarnaast zijn er de voorspelbaarheid van de kosten en de stabiliteit. Een lokaal model rekent niet per token af: je betaalt voor de hardware en de elektriciteit, ongeacht het volume. Je bevriest ook de versie van het model, waardoor een update aan de kant van de leverancier het gedrag van een reeds gevalideerde applicatie niet kan veranderen. Tot slot werkt de uitvoering offline zodra de bestanden zijn gedownload, een argument voor onderweg of op geïsoleerde locaties.

Je moet echter wel compromissen accepteren. Modellen die op een laptop passen zijn over het algemeen minder krachtig dan de grote modellen van commerciële API’s wat complex redeneren betreft, en de snelheid hangt rechtstreeks af van je grafische kaart of je chip. De installatie, updates en beveiliging van de dienst worden ook jouw verantwoordelijkheid.

De onmisbare woordenschat

  • Grootte: de door het model geleerde parameters, verdeeld als bestanden van meerdere gigabytes. Hun aantal (8B voor 8 miljard, bijvoorbeeld) bepaalt grotendeels het benodigde geheugen.
  • Kwantisatie: de reductie van de precisie van deze gewichten (bijvoorbeeld van 16 bits naar 8 of 4 bits), wat de bestandsgrootte deelt ten koste van een min of meer merkbaar kwaliteitsverlies.
  • Contextvenster: het maximale aantal tokens (woordfragmenten) dat het model in één keer kan verwerken, inclusief vraag, geschiedenis en documenten.
  • Open weights en open source: een model waarvan alleen de gewichten worden gepubliceerd is ‘open weights’. De definitie van open source AI van de Open Source Initiative (versie 1.0) vereist meer: gedetailleerde informatie over de trainingsdata, de volledige trainings- en inferentiecode, en de parameters, allemaal onder door OSI goedgekeurde voorwaarden (Open Source AI Definition). De meeste modellen die je installeert zijn dus open weights-modellen, onder meer of minder permissieve licenties.

Hardware, modellen en tools om te beginnen

Het geheugen is het eerste criterium, vóór de rekenkracht. Een model moet volledig in het videogeheugen (VRAM) van de grafische kaart passen, of in het unified memory van een Mac met Apple-chip, om op een comfortabele snelheid te draaien. Wat overloopt wordt verplaatst naar het RAM en de processor, wat werkt maar duidelijk vertraagt. De totale behoefte valt uiteen in drie posten: de gewichten, de key-value cache (KV-cache) die groeit met de lengte van de context, en een marge voor de software en het systeem.

Google publiceert voor zijn Gemma 4-familie een nuttige tabel om de grootteordes vast te stellen. Het geeft het geheugen aan dat nodig is voor alleen het laden van de gewichten, met ongeveer 20% marge inbegrepen maar zonder de KV-cache (Gemma-documentatie van Google, geraadpleegd in november 2026).

Gemma 4-model 16 bits (BF16) 8 bits (SFP8) 4 bits (Q4_0)
E2B 11,4 GB 5,7 GB 2,9 GB
E4B 17,9 GB 8,9 GB 4,5 GB
12B 26,7 GB 13,4 GB 6,7 GB
26B A4B (met experts) 57,7 GB 28,8 GB 14,4 GB
31B 69,9 GB 34,9 GB 17,5 GB

Twee lessen komen uit deze tabel naar voren. Ten eerste verdeelt kwantisatie in 4 bits de footprint ongeveer door vier vergeleken met 16 bits, wat verklaart waarom launchers bijna altijd gekwantiseerde versies standaard aanbieden. Ten tweede activeert een model met experts (MoE) zoals de 26B A4B slechts 4 miljard parameters per token, maar Google preciseert dat de 26 miljard toch volledig in het geheugen geladen moeten worden: de architectuur versnelt de berekening, niet de opslag.

Drie typische configuraties

Deze cijfers maken het mogelijk om over concrete gevallen na te denken, te verfijnen met de calculator voor lokaal AI-model van de site, die het bezette geheugen en de snelheid voor een gegeven kaart of Mac schat:

  • Laptop van 16 GB zonder toegewijde grafische kaart: mik op modellen van 2 tot 4 miljard effectieve parameters in 4 bits (minder dan 5 GB gewichten voor Gemma 4 E4B), met een bescheiden context. Dit is voldoende om te herformuleren, samen te vatten of informatie uit een korte tekst te halen.
  • PC met een kaart van 8 GB VRAM: een model uit de klasse 8 tot 12 miljard parameters in 4 bits (6,7 GB gewichten voor Gemma 4 12B) past, maar de resterende marge voor de KV-cache is klein. Verklein de context of accepteer een gedeeltelijke overloop naar het RAM.
  • Mac of workstation met 32 GB beschikbaar geheugen: modellen van 26 tot 31 miljard parameters in 4 bits worden toegankelijk (14,4 tot 17,5 GB gewichten voor Gemma 4), met ruimte voor een langere context.

Wat tools betreft, domineren twee launchers voor een eerste gebruik. Ollama, gepubliceerd onder MIT-licentie, werkt op de commandoregel en als applicatie, en stelt een lokale API bloot op poort 11434; de laatste stabiele versie op GitHub was v0.40.16, gepubliceerd op 9 november 2026. LM Studio, gratis inclusief voor professioneel gebruik sinds juli 2025, geeft voorrang aan de grafische interface, ondersteunt de GGUF- en MLX-formaten en biedt ook een server die compatibel is met de OpenAI-API. Onze vergelijking Ollama vs LM Studio gaat in op hun verschillen, en onze stap-voor-stap Ollama-tutorial behandelt de installatie en de API.

Voor modellen, onthoud vier criteria: de grootte die compatibel is met je geheugen, de kwaliteit in het Nederlands, de beoogde taak (schrijven, code, extractie, vision) en de licentie. Verschillende recente families worden gepubliceerd onder Apache 2.0-licentie, die commercieel gebruik toestaat: Gemma 4 bij Google, Qwen3.5 bij Alibaba, Ministral 3 bij Mistral AI of gpt-oss bij OpenAI. Onze selectie van de beste lokale AI-modellen vergelijkt ze op gebruik en machine.

Wat is RAG en wanneer heb je het nodig?

RAG (retrieval-augmented generation) associeert een taalmodel met een documentaire zoekmachine. De term komt uit een artikel van Patrick Lewis en zijn medeauteurs, ingediend in mei 2020, dat modellen beschreef die een ‘parametrisch’ geheugen, dat van de gewichten, combineerden met een ‘niet-parametrisch’ geheugen, een index van documenten die op aanvraag werd bevraagd (Lewis et al., 2020). In de huidige praktijk blijft het principe hetzelfde: voordat het antwoordt, zoekt het systeem de relevante passages in je corpus op, voegt ze in de prompt in, en vraagt het model erop te steunen. Lees voor verdieping ‘Chunking RAG: hoe documenten opdelen om beter te antwoorden?’.

Deze aanpak beantwoordt twee beperkingen van modellen alleen. Een LLM kent je interne documenten niet, en zijn kennis stopt op de datum van zijn training. RAG voorziet het op het moment van de vraag van actuele en verifieerbare inhoud, wat ook het eisen van citaten mogelijk maakt. Het verandert het model niet: een document toevoegen of verwijderen volstaat om bij te werken wat het ‘weet’.

Een raster om te beslissen

RAG is niet altijd nodig. Afhankelijk van de grootte van het corpus en de frequentie van de updates kan een eenvoudigere oplossing volstaan. Het volgende raster vat de meest voorkomende situaties samen; het weerspiegelt onze redactionele analyse, geen standaard.

Situatie Eenvoudigste oplossing Waarom
Een of twee korte documenten om af en toe te analyseren Plak de tekst in de prompt De inhoud past in het contextvenster, indexeren is niet nuttig.
Honderden documenten, gevarieerde vragen RAG Alleen de relevante passages worden verzonden, wat context bespaart en bronvermelding mogelijk maakt.
Documenten die vaak worden bijgewerkt (procedures, tarieven, FAQ) RAG Herindexeren volstaat; het model verandert niet.
Behoefte aan een constante toon, formaat of vakjargon Systeemprompt, dan eventueel fine-tuning Het gaat om gedrag dat geleerd moet worden, niet om kennis die teruggevonden moet worden.
Het systeem moet handelen (een e-mail sturen, een bestand wijzigen) Agent met tools Documentair zoeken volstaat niet meer; er zijn rechten en supervisie nodig.

De grens tussen RAG en modelaanpassing is onderwerp van een apart artikel in de serie, RAG vs fine-tuning. Wat het laatste geval in de tabel betreft, dat behoort tot een andere logica: als je project bestaat uit het geven van tools aan het model om te handelen, legt ons guide van AI-agents uit hoe je ze ontwerpt en begeleidt. We gaan hierop in in ‘RAG vs fine-tuning: hoe kies je tussen de twee?’.

Hoe bouw je een betrouwbare documentaire zoekopdracht?

Een RAG wordt in twee fasen gebouwd. De indexering bereidt de documenten eenmalig voor; de bevraging vindt plaats bij elke vraag. De uiteindelijke kwaliteit hangt veel meer af van de eerste stap dan van de keuze van het generatiemodel: een slecht opgedeelde of onvindbare passage zal nooit correct geciteerd worden, ongeacht het LLM.

  1. Extraheer de tekst uit PDF’s, webpagina’s of kantoorbestanden, waarbij de titels, de bron en de datum van elk document behouden blijven. Tabellen en gescande PDF’s vragen vaak specifieke verwerking.
  2. Deel de tekst op in passages (het chunking), op vaste grootte, per paragraaf of per sectie. De juiste granulariteit hangt af van het type document; ons artikel over de keuze van een chunkingstrategie stelt een beslissingsboom voor.
  3. Indexeer de passages: ofwel op trefwoorden (klassiek fulltext-zoeken), ofwel op vectoren (embeddings), of beide. Ollama stelt bijvoorbeeld een eindpunt /api/embed bloot dat genormaliseerde vectoren teruggeeft; zijn documentatie beveelt cosinusgelijkenis aan en het gebruik van hetzelfde embeddingmodel voor indexering en voor queries (documentatie van embeddings van Ollama).
  4. Zoek de passages die het dichtst bij de vraag liggen, en rangschik ze eventueel opnieuw.
  5. Genereer het antwoord door het model te vragen alleen op de verstrekte passages te steunen, hun bron te citeren en ‘ik weet het niet’ te antwoorden als de informatie ontbreekt.

De keuze tussen fulltext-zoeken en vectordatabase is niet ideologisch. Zoeken op trefwoorden blinkt uit bij exacte referenties (een artikelnummer, een productcode), vectorzoeken bij herformuleringen en synoniemen. Veel systemen combineren beide. De serie wijdt een artikel aan de vergelijking tussen SQL FULLTEXT-zoeken en vectordatabase, en een ander aan embeddings en semantisch zoeken. Het onderwerp is behandeld in een apart artikel: ‘Embeddings: vectoren en semantisch zoeken begrijpen’.

Waar een RAG het vaakst faalt

  • Context te kort: onder de 24 GiB VRAM wijst Ollama standaard een venster van 4.096 tokens toe volgens zijn documentatie. Tien passages van 400 tokens, plus de vraag en de instructies, verzadigen het al. Vergroot het (variabele OLLAMA_CONTEXT_LENGTH of parameter num_ctx) rekening houdend met het extra geheugen.
  • Passages op de verkeerde plaats opgedeeld: een definitie gescheiden van zijn titel, een tabel verdeeld over twee stukken.
  • Embeddingmodel slecht aangepast aan het Nederlands of verschillend tussen indexering en query.
  • Afwezigheid van citaten: zonder weergegeven bron kan de gebruiker een gefundeerd antwoord niet onderscheiden van een verzinsel.
  • Geen set referentievragen: zonder regelmatige evaluatie blijft een regressie onopgemerkt na een update van het corpus of het model.

Voor dit laatste punt: stel een dertigtal vragen samen waarvan je het antwoord en het brondocument kent, en controleer bij elke wijziging of de juiste passage wordt teruggevonden en of het antwoord deze citeert. Onze guide voor het evalueren van een taalmodel gaat in op de toepasbare meetmethoden. De volledige praktische uitvoering, van corpus tot interface, zal het onderwerp zijn van een tutorial om een RAG-chatbot op je documenten te maken.

Beveiliging, kosten, licenties en beperkingen

Lokaal betekent niet automatisch veilig. Ollama luistert standaard op 127.0.0.1, dat wil zeggen alleen op de machine zelf; het toegankelijk maken voor het netwerk via OLLAMA_HOST=0.0.0.0 stelt een API zonder native authenticatie bloot aan alle werkstations die er verbinding mee kunnen maken. Als meerdere personen het moeten gebruiken, plaats het dan achter een geauthenticeerde proxy of een firewall. Bedenk ook dat automatische updates en het downloaden van modellen uitgaand verkeer genereren, wat gedocumenteerd moet worden als je beveiligingsbeleid dat vereist.

RAG voegt zijn eigen risico’s toe. OWASP plaatst prompt-injectie bovenaan zijn Top 10 2025 voor LLM-applicaties en benadrukt dat kwaadaardige instructies kunnen komen via externe bronnen, zoals bestanden of webpagina’s, en dat RAG dit risico niet wegneemt (OWASP, LLM01:2025). Een getroffen document in je corpus kan dus de antwoorden beïnvloeden. Het andere risico is lekken via de context: als de index HR-documenten bevat, mag een gebruiker zonder autorisatie deze niet kunnen laten opduiken door een slimme vraag. Filteren op toegangsrechten moet toegepast worden op het moment van zoeken, niet alleen in de interface.

ANSSI publiceerde in april 2024 aanbevelingen voor de beveiliging van generatieve AI-systemen die rechtstreeks op deze projecten van toepassing zijn (guide ANSSI-PA-102). Daaronder vind je onder meer het gebruik van veilige modelformaten (R6), het meenemen van het need-to-know-principe vanaf het ontwerp (R8), het filteren van invoer en uitvoer (R25), het beperken van automatische acties die worden geactiveerd door niet-gecontroleerde invoer (R27) en het loggen van verwerkingen (R29). Een artikel in de serie zal gewijd zijn aan de beveiliging van een RAG-systeem.

Wat kosten betreft, is de vergelijking eenvoudig op te stellen maar niet te beslissen. Lokaal vervangt een gebruiksrekening door een hardware-investering en beheertijd; het wordt interessant wanneer de volumes hoog en regelmatig zijn, of wanneer vertrouwelijkheid de cloud verbiedt. Voor occasioneel gebruik blijft een API die per token rekent vaak economischer en krachtiger. De interactieve modelvergelijker van de site helpt om commerciële modellen tegen dit alternatief af te zetten.

De licenties, tot slot, variëren sterk van model tot model. Gemma 4, Qwen3.5, Ministral 3 en gpt-oss worden gepubliceerd onder Apache 2.0. Mistral Large 4, waarvan de gewichten eind oktober 2026 werden gepubliceerd, valt onder een eigen licentie afgeleid van de MIT-licentie, die een aparte commerciële licentie vereist om het te exploiteren als gehoste dienst (model-as-a-service), volgens zijn Hugging Face-fiche. Lees altijd de licentie voor commercieel gebruik of herdistributie.

Je installatie controleren in vijf punten

  1. De dienst luistert alleen op het voorziene adres (lokaal of beschermd intern netwerk).
  2. Het commando ollama ps, of het equivalent van je launcher, toont het model 100% geladen op de GPU als dat het doel is, en de daadwerkelijk toegewezen contextlengte.
  3. Geen cloudfuncties zijn geactiveerd als je data de machine niet mogen verlaten.
  4. De licentie van het model is compatibel met je gebruik, en de versie is genoteerd.
  5. Een set referentievragen maakt het mogelijk de kwaliteit voor en na elke wijziging te meten.

Deze controle garandeert niet de afwezigheid van lekken: het stelt een controleerbare basis vast, die bij elke update van de tool of het model opnieuw moet worden doorlopen.

Tutorials en dimensioneringstools

Deze gids dient als startpunt voor een reeks praktische artikelen, geleidelijk gepubliceerd. Het traject ‘lokale uitvoering’ begint met het installeren van een lokale AI op Windows, macOS of Linux, gaat verder met een Ollama-tutorial gewijd aan commando’s en de API, en vervolgens met de vergelijking Ollama vs LM Studio. Het wordt aangevuld met de selectie van het beste lokale AI-model volgens de taak en een gids over het RAM en VRAM dat nodig is voor een lokaal LLM, met gesimuleerde cijfers. We gaan hierop in in ‘Welk AI-model kiezen? Gids en vergelijking van LLM’s’.

Het traject ‘vragen over documenten’ begint met een gedetailleerde definitie van wat RAG is en zijn architectuur, behandelt vervolgens de keuze tussen RAG en fine-tuning, embeddings, chunking, de vergelijking tussen FULLTEXT en vectordatabase, het maken van een RAG-chatbot op je documenten en de beveiliging van een RAG. De twee trajecten kunnen onafhankelijk worden gevolgd. Lees voor meer informatie ons artikel ‘RAG: definitie, architectuur en concrete voorbeelden’.

Meten voor je koopt

Voordat je investeert in een grafische kaart, test met wat je hebt. Installeer een launcher, laad een klein gekwantiseerd model, en noteer dan drie waarden: het bezette geheugen, de generatiesnelheid in tokens per seconde (Ollama levert dit via de velden eval_count en eval_duration van zijn API) en de kwaliteit van de antwoorden op een tiental vragen die representatief zijn voor je gebruik. Vergelijk vervolgens met de schatting van de calculator van de site voor de beoogde machine.

Deze methode heeft zijn beperkingen: de snelheden variëren afhankelijk van de driver, de versie van de launcher en het formaat van het model, en de kwaliteit in het Nederlands is niet af te lezen uit een geheugentabel. Het heeft echter het voordeel dat het op je eigen data is gebaseerd, wat de beste indicator blijft voor een project met lokale AI of RAG.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x