IA locale e RAG : guida per utilizzare modelli sui propri dati

IA locale e RAG : guida per utilizzare modelli sui propri dati
14 min di lettura

Far girare un modello di linguaggio sul proprio computer e fargli rispondere a partire dai propri documenti sono due progetti distinti, che si combinano. L’IA locale mantiene le richieste sul proprio hardware; il RAG, o generazione aumentata per recupero, va a cercare i passaggi utili nei propri file prima di redigere la risposta. Con 16 GB di memoria, un lanciatore come Ollama o LM Studio e un modello quantizzato di qualche miliardo di parametri, è già possibile testare entrambi senza abbonamento.

Questa guida separa volutamente i due percorsi. Il primo risponde alla domanda «come eseguire un modello a casa mia?»: hardware, scelta del modello, strumenti. Il secondo risponde a «come interrogarlo sui miei dati senza che inventi?»: suddivisione dei documenti, ricerca, citazioni e controllo. I due si ricongiungono in un’architettura comune, descritta più sotto. Le versioni e i numeri citati sono stati verificati a novembre 2026 sulle documentazioni ufficiali; evolvono rapidamente e devono essere ricontrollati prima di qualsiasi acquisto di hardware. Per approfondire, leggete il nostro articolo «Ricerca SQL FULLTEXT vs base vettoriale: quale motore per un RAG?».

Perché far girare un’IA in locale?

La prima ragione è il controllo dei dati. Quando il modello gira sul proprio computer o su un server interno, il testo che gli si sottopone non deve transitare per un servizio terzo. La documentazione di Ollama precisa così che in esecuzione locale, lo strumento non ha accesso ai vostri prompt, e che le funzioni cloud possono essere disabilitate dalla variabile OLLAMA_NO_CLOUD=1 o da un’impostazione in ~/.ollama/server.json (FAQ di Ollama). LM Studio indica dal canto suo che le conversazioni e i documenti allegati per il RAG rimangono sulla macchina, Internet essendo richiesto solo per cercare e scaricare modelli o aggiornamenti (documentazione offline di LM Studio).

Seguono poi la prevedibilità dei costi e la stabilità. Un modello locale non fattura a token: si paga l’hardware e l’elettricità, indipendentemente dal volume. Si congela anche la versione del modello, il che evita che un aggiornamento lato fornitore cambi il comportamento di un’applicazione già validata. Infine, l’esecuzione funziona senza connessione una volta scaricati i file, un argomento per gli spostamenti o i siti isolati.

Bisogna invece accettare dei compromessi. I modelli che stanno su un computer portatile rimangono in genere meno performanti dei grandi modelli delle API commerciali sul ragionamento complesso, e la velocità dipende direttamente dalla scheda grafica o dal chip. L’installazione, gli aggiornamenti e la sicurezza del servizio diventano anche una vostra responsabilità.

Il vocabolario indispensabile

  • Peso: i parametri appresi dal modello, distribuiti sotto forma di file di diversi gigabyte. Il loro numero (8B per 8 miliardi, per esempio) determina in gran parte la memoria necessaria.
  • Quantizzazione: la riduzione della precisione di questi pesi (da 16 bit a 8 o 4 bit per esempio), che divide la dimensione del file al prezzo di una perdita di qualità più o meno sensibile.
  • Finestra di contesto: il numero massimo di token (frammenti di parole) che il modello può trattare in una volta, domanda, storico e documenti compresi.
  • Open weights e open source: un modello di cui solo i pesi sono pubblicati è «a pesi aperti». La definizione di IA open source dell’Open Source Initiative (versione 1.0) esige di più: informazioni dettagliate sui dati di addestramento, il codice completo di addestramento e inferenza, e i parametri, il tutto sotto condizioni approvate dall’OSI (Open Source AI Definition). La maggior parte dei modelli che installerete sono quindi modelli a pesi aperti, sotto licenze più o meno permissive.

Hardware, modelli e strumenti per iniziare

La memoria è il primo criterio, prima della potenza di calcolo. Un modello deve stare interamente nella memoria video (VRAM) della scheda grafica, o nella memoria unificata di un Mac a chip Apple, per girare a una velocità confortevole. Ciò che trabocca viene spostato verso la RAM e il processore, cosa che funziona ma rallenta nettamente. Il bisogno totale si scompone in tre posti: i pesi, la cache chiave-valore (cache KV) che cresce con la lunghezza del contesto, e un margine per il software e il sistema.

Google pubblica per la sua famiglia Gemma 4 una tabella utile per fissare gli ordini di grandezza. Indica la memoria necessaria al solo caricamento dei pesi, con circa il 20% di margine incluso ma senza la cache KV (documentazione Gemma di Google, consultata a novembre 2026).

Modello Gemma 4 16 bit (BF16) 8 bit (SFP8) 4 bit (Q4_0)
E2B 11,4 GB 5,7 GB 2,9 GB
E4B 17,9 GB 8,9 GB 4,5 GB
12B 26,7 GB 13,4 GB 6,7 GB
26B A4B (a esperti) 57,7 GB 28,8 GB 14,4 GB
31B 69,9 GB 34,9 GB 17,5 GB

Due insegnamenti emergono da questa tabella. Prima di tutto, la quantizzazione a 4 bit divide circa per quattro l’impronta rispetto ai 16 bit, il che spiega perché i lanciatori propongono quasi sempre versioni quantizzate di default. Poi, un modello a esperti (MoE) come il 26B A4B attiva solo 4 miliardi di parametri per token, ma Google precisa che i 26 miliardi devono comunque essere caricati in memoria: l’architettura accelera il calcolo, non l’immagazzinamento.

Tre configurazioni tipo

Queste cifre permettono di ragionare su casi concreti, da affinare con il calcolatore per modello IA locale del sito, che stima la memoria occupata e la velocità per una scheda o un Mac dati:

  • Computer portatile da 16 GB senza scheda grafica dedicata: puntate ai modelli da 2 a 4 miliardi di parametri effettivi a 4 bit (meno di 5 GB di peso per Gemma 4 E4B), con un contesto modesto. È sufficiente per riformulare, riassumere o estrarre informazioni da un testo breve.
  • PC con una scheda da 8 GB di VRAM: un modello della classe 8-12 miliardi di parametri a 4 bit (6,7 GB di peso per Gemma 4 12B) ci sta, ma il margine rimanente per la cache KV è debole. Riducete il contesto o accettate un traboccamento parziale verso la RAM.
  • Mac o stazione con 32 GB di memoria disponibile: i modelli da 26 a 31 miliardi di parametri a 4 bit diventano accessibili (14,4 a 17,5 GB di peso per Gemma 4), con spazio per un contesto più lungo.

Dal lato strumenti, due lanciatori dominano per un primo utilizzo. Ollama, pubblicato sotto licenza MIT, funziona da riga di comando e in applicazione, ed espone un’API locale sulla porta 11434; la sua ultima versione stabile su GitHub era la v0.40.16, pubblicata il 9 novembre 2026. LM Studio, gratuito anche per un uso professionale da luglio 2025, privilegia l’interfaccia grafica, supporta i formati GGUF e MLX e propone anch’esso un server compatibile con l’API di OpenAI. Il nostro confronto Ollama vs LM Studio dettaglia le loro differenze, e il nostro tutorial Ollama passo passo copre l’installazione e l’API.

Per i modelli, ricordate quattro criteri: la dimensione compatibile con la vostra memoria, la qualità in francese, il compito mirato (redazione, codice, estrazione, visione) e la licenza. Diverse famiglie recenti sono pubblicate sotto licenza Apache 2.0, che autorizza l’uso commerciale: Gemma 4 presso Google, Qwen3.5 presso Alibaba, Ministral 3 presso Mistral AI o ancora gpt-oss presso OpenAI. La nostra selezione dei migliori modelli di IA locali li confronta per uso e per macchina.

Cos’è il RAG e quando se ne ha bisogno?

Il RAG (retrieval-augmented generation) associa un modello di linguaggio a un motore di ricerca documentale. Il termine viene da un articolo di Patrick Lewis e dei suoi coautori, sottoposto a maggio 2020, che descriveva modelli combinanti una memoria «parametrica», quella dei pesi, e una memoria «non parametrica», un indice di documenti interrogato su richiesta (Lewis et al., 2020). Nella pratica attuale, il principio rimane lo stesso: prima di rispondere, il sistema ricerca i passaggi pertinenti nel vostro corpus, li inserisce nel prompt, poi chiede al modello di basarsi su di essi. Per approfondire, consultate «Chunking RAG: come suddividere i propri documenti per rispondere meglio?».

Questo approccio risponde a due limiti dei soli modelli. Un LLM non conosce i vostri documenti interni, e le sue conoscenze si fermano alla data del suo addestramento. Il RAG gli fornisce al momento della domanda un contenuto aggiornato e verificabile, il che permette anche di esigere delle citazioni. Non modifica il modello: aggiungere o ritirare un documento basta ad aggiornare ciò che «sa».

Una griglia per decidere

Il RAG non è sempre necessario. Secondo la dimensione del corpus e la frequenza dei suoi aggiornamenti, una soluzione più semplice può bastare. La griglia seguente riassume le situazioni più comuni; riflette la nostra analisi editoriale, non uno standard.

Situazione Soluzione più semplice Perché
Uno o due documenti brevi da analizzare occasionalmente Incollare il testo nel prompt Il contenuto sta nella finestra di contesto, nessuna indicizzazione è utile.
Centinaia di documenti, domande varie RAG Solo i passaggi pertinenti sono inviati, il che economizza il contesto e permette di citare la fonte.
Documenti aggiornati spesso (procedure, tariffe, FAQ) RAG Basta reindicizzare; il modello non cambia.
Bisogno di un tono, di un formato o di un vocabolario di settore costante Prompt di sistema, poi eventualmente fine-tuning Si tratta di un comportamento da apprendere, non di una conoscenza da ritrovare.
Il sistema deve agire (inviare un’e-mail, modificare un file) Agente con strumenti La ricerca documentale non basta più; servono permessi e una supervisione.

La frontiera tra RAG e adattamento del modello è oggetto di un articolo dedicato della serie, RAG vs fine-tuning. Quanto all’ultimo caso della tabella, rientra in un’altra logica: se il vostro progetto consiste nel dare al modello degli strumenti per agire, la nostra guida degli agenti IA spiega come concepirli e incorniciarli. Approfondiamo questo punto in «RAG vs fine-tuning: come scegliere tra i due?».

Come costruire una ricerca documentale affidabile?

Un RAG si costruisce in due tempi. L’indicizzazione prepara i documenti una volta per tutte; l’interrogazione si svolge a ogni domanda. La qualità finale dipende molto più dalla prima fase che dalla scelta del modello di generazione: un passaggio mal suddiviso o introvabile non sarà mai citato correttamente, qualunque sia il LLM.

  1. Estrarre il testo dai PDF, pagine web o file d’ufficio, conservando i titoli, la fonte e la data di ogni documento. Le tabelle e i PDF scannerizzati richiedono spesso un trattamento specifico.
  2. Suddividere il testo in passaggi (il chunking), per dimensione fissa, per paragrafo o per sezione. La buona granularità dipende dal tipo di documento; il nostro articolo su la scelta di una strategia di chunking propone un albero decisionale.
  3. Indicizzare i passaggi: sia per parole chiave (ricerca full-text classica), sia per vettori (embeddings), sia entrambi. Ollama espone per esempio un punto d’accesso /api/embed che restituisce vettori normalizzati; la sua documentazione raccomanda la similarità coseno e l’uso dello stesso modello di embedding per l’indicizzazione e per le query (documentazione degli embeddings di Ollama).
  4. Cercare i passaggi più vicini alla domanda, poi eventualmente riclassificarli.
  5. Generare la risposta chiedendo al modello di basarsi unicamente sui passaggi forniti, di citarne la fonte e di rispondere «non lo so» se l’informazione manca.

La scelta tra ricerca full-text e base vettoriale non è ideologica. La ricerca per parole chiave eccelle sulle referenze esatte (un numero di articolo, un codice prodotto), la ricerca vettoriale sulle riformulazioni e i sinonimi. Molti sistemi combinano le due. La serie dedica un articolo al confronto tra ricerca SQL FULLTEXT e base vettoriale, e un altro agli embeddings e alla ricerca semantica. Il soggetto è oggetto di un articolo dedicato: «Embeddings: comprendere i vettori e la ricerca semantica».

Dove un RAG fallisce più spesso

  • Contesto troppo corto: sotto i 24 GB di VRAM, Ollama alloca di default una finestra di 4.096 token secondo la sua documentazione. Dieci passaggi di 400 token, più la domanda e le istruzioni, la saturano già. Aumentatela (variabile OLLAMA_CONTEXT_LENGTH o parametro num_ctx) tenendo conto della memoria supplementare.
  • Passaggi tagliati nel punto sbagliato: una definizione separata dal suo titolo, una tabella spezzata in due pezzi.
  • Modello di embedding mal adattato al francese o diverso tra indicizzazione e query.
  • Assenza di citazioni: senza fonte mostrata, l’utente non può distinguere una risposta fondata da un’invenzione.
  • Nessun set di domande di riferimento: senza valutazione regolare, una regressione passa inosservata dopo un aggiornamento del corpus o del modello.

Per quest’ultimo punto, costituite una trentina di domande di cui conoscete la risposta e il documento fonte, poi verificate a ogni cambiamento che il passaggio giusto sia ritrovato e che la risposta lo citi. La nostra guida per valutare un modello di linguaggio dettaglia i metodi di misura applicabili. La messa in pratica completa, dal corpus all’interfaccia, sarà oggetto di un tutorial per creare un chatbot RAG sui vostri documenti.

Sicurezza, costi, licenze e limiti

Locale non vuol dire sicuro di default. Ollama ascolta di default su 127.0.0.1, cioè unicamente sulla macchina stessa; renderlo accessibile alla rete via OLLAMA_HOST=0.0.0.0 espone un’API senza autenticazione nativa a tutti i computer che possono raggiungerla. Se più persone devono utilizzarlo, mettetela dietro un proxy autenticato o un firewall. Pensate anche che gli aggiornamenti automatici e il download di modelli generano traffico in uscita, da documentare se la vostra politica di sicurezza lo richiede.

Il RAG aggiunge i propri rischi. L’OWASP classifica l’iniezione di prompt in testa al suo Top 10 2025 delle applicazioni di LLM e sottolinea che istruzioni malevole possono arrivare da fonti esterne, come file o pagine web, e che il RAG non rimuove questo rischio (OWASP, LLM01:2025). Un documento trappola nel vostro corpus può quindi influenzare le risposte. L’altro rischio è la fuga per contesto: se l’indice contiene documenti HR, un utente senza abilitazione non deve poterli far risalire con una domanda abile. Il filtraggio per diritti di accesso deve applicarsi al momento della ricerca, non solo nell’interfaccia.

L’ANSSI ha pubblicato ad aprile 2024 delle raccomandazioni di sicurezza per i sistemi di IA generativa che si applicano direttamente a questi progetti (guida ANSSI-PA-102). Vi si trova in particolare l’utilizzo di formati di modelli sicuri (R6), la presa in considerazione del bisogno di conoscere fin dalla progettazione (R8), il filtraggio degli ingressi e delle uscite (R25), la limitazione delle azioni automatiche attivate a partire da ingressi non controllati (R27) e la registrazione dei trattamenti (R29). Un articolo della serie sarà dedicato alla sicurezza di un sistema RAG.

Dal lato costi, l’equazione è semplice da porre ma non da decidere. Il locale sostituisce una fattura all’uso con un investimento hardware e del tempo di amministrazione; diventa interessante quando i volumi sono elevati e regolari, o quando la confidenzialità vieta il cloud. Per un uso occasionale, un’API fatturata a token rimane spesso più economica e più performante. Il comparatore interattivo di modelli del sito aiuta a situare i modelli commerciali di fronte a questa alternativa.

Le licenze, infine, variano fortemente da un modello all’altro. Gemma 4, Qwen3.5, Ministral 3 e gpt-oss sono pubblicati sotto Apache 2.0. Mistral Large 4, di cui i pesi sono stati pubblicati fine ottobre 2026, rientra in una licenza propria derivata dalla licenza MIT, che esige una licenza commerciale separata per sfruttarlo in servizio ospitato (model-as-a-service), secondo la sua scheda Hugging Face. Leggete sistematicamente la licenza prima di un uso commerciale o di una ridistribuzione.

Verificare la vostra installazione in cinque punti

  1. Il servizio ascolta solo sull’indirizzo previsto (locale o rete interna protetta).
  2. Il comando ollama ps, o l’equivalente del vostro lanciatore, mostra il modello caricato al 100% sulla GPU se è l’obiettivo, e la lunghezza di contesto realmente allocata.
  3. Nessuna funzione cloud è attivata se i vostri dati non devono lasciare la macchina.
  4. La licenza del modello è compatibile con il vostro uso, e la sua versione è annotata.
  5. Un set di domande di riferimento permette di misurare la qualità prima e dopo ogni modifica.

Questa verifica non garantisce l’assenza di falle: stabilisce una base controllabile, da riprendere a ogni aggiornamento dello strumento o del modello.

Tutorial e strumenti di dimensionamento

Questa guida serve da punto d’ingresso a una serie di articoli pratici, pubblicati progressivamente. Il percorso «esecuzione locale» comincia con installare un’IA locale su Windows, macOS o Linux, prosegue con un tutorial Ollama dedicato ai comandi e all’API, poi con il confronto Ollama vs LM Studio. Si completa con la selezione del miglior modello di IA locale secondo il compito e con una guida sulla RAM e la VRAM necessarie a un LLM locale, con simulazioni numeriche. Approfondiamo questo punto in «Quale modello di IA scegliere? Guida e confronto dei LLM».

Il percorso «domande su documenti» parte da una definizione dettagliata di cos’è il RAG e della sua architettura, poi affronta la scelta tra RAG e fine-tuning, gli embeddings, il chunking, il confronto tra FULLTEXT e base vettoriale, la creazione di un chatbot RAG sui vostri documenti e la sicurezza di un RAG. I due percorsi possono essere seguiti indipendentemente. Per approfondire, leggete il nostro articolo «RAG: definizione, architettura ed esempi concreti».

Misurare prima di acquistare

Prima di investire in una scheda grafica, testate con ciò che avete. Installate un lanciatore, caricate un piccolo modello quantizzato, poi annotate tre valori: la memoria occupata, la velocità di generazione in token al secondo (Ollama la fornisce via i campi eval_count e eval_duration della sua API) e la qualità delle risposte su una decina di domande rappresentative del vostro uso. Confrontate poi con la stima del calcolatore del sito per la macchina prevista.

Questo metodo ha i suoi limiti: le velocità variano secondo il driver, la versione del lanciatore e il formato del modello, e la qualità in francese non si legge in nessuna tabella di memoria. Ha tuttavia il vantaggio di basarsi sui vostri dati, il che rimane il miglior indicatore per un progetto di IA locale o di RAG.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x