Executar um modelo de linguagem na sua máquina e fazê-lo responder a partir dos seus documentos são dois projetos distintos, que se combinam. A IA local mantém as consultas no seu hardware; o RAG, ou geração aumentada por recuperação, vai buscar as passagens úteis nos seus ficheiros antes de redigir a resposta. Com 16 GB de memória, um lançador como Ollama ou LM Studio e um modelo quantizado de alguns milhares de milhões de parâmetros, já pode testar os dois sem subscrição.
Este guia separa voluntariamente os dois percursos. O primeiro responde à pergunta «como executar um modelo em minha casa?»: hardware, escolha do modelo, ferramentas. O segundo responde a «como consultá-lo sobre os meus dados sem que ele invente?»: divisão dos documentos, pesquisa, citações e controlo. Os dois se reúnem numa arquitetura comum, descrita mais abaixo. As versões e números citados foram verificados em novembro de 2026 nas documentações oficiais; evoluem rapidamente e devem ser revistos antes de qualquer compra de hardware. Para ir mais longe, leia o nosso artigo «Pesquisa SQL FULLTEXT vs base vetorial: que motor para um RAG?».
Por que executar uma IA localmente?
A primeira razão é o controlo dos dados. Quando o modelo funciona no seu posto ou num servidor interno, o texto que lhe submete não precisa de transitar por um serviço de terceiros. A documentação do Ollama especifica assim que, em execução local, a ferramenta não tem acesso aos seus prompts, e que as funções cloud podem ser desativadas pela variável OLLAMA_NO_CLOUD=1 ou por um ajuste em ~/.ollama/server.json (FAQ do Ollama). O LM Studio indica por seu lado que as conversas e os documentos anexos para o RAG permanecem na máquina, a Internet sendo necessária apenas para procurar e descarregar modelos ou atualizações (documentação offline do LM Studio).
Segue-se a previsibilidade dos custos e a estabilidade. Um modelo local não fatura por token: paga o hardware e a eletricidade, qualquer que seja o volume. Congela também a versão do modelo, o que evita que uma atualização do lado do fornecedor mude o comportamento de uma aplicação já validada. Por fim, a execução funciona sem ligação uma vez os ficheiros descarregados, um argumento para deslocações ou locais isolados.
É necessário, no entanto, aceitar compromissos. Os modelos que cabem num portátil permanecem em geral menos eficazes que os grandes modelos das API comerciais no raciocínio complexo, e a velocidade depende diretamente da sua placa gráfica ou do seu chip. A instalação, as atualizações e a segurança do serviço passam também a ser da sua responsabilidade.
O vocabulário indispensável
- Peso: os parâmetros aprendidos pelo modelo, distribuídos sob a forma de ficheiros de vários gigabytes. O seu número (8B para 8 mil milhões, por exemplo) determina em grande parte a memória necessária.
- Quantização: a redução da precisão destes pesos (de 16 bits para 8 ou 4 bits por exemplo), que divide o tamanho do ficheiro ao preço de uma perda de qualidade mais ou menos sensível.
- Janela de contexto: o número máximo de tokens (fragmentos de palavras) que o modelo pode processar de uma só vez, pergunta, histórico e documentos incluídos.
- Open weights e open source: um modelo cujos apenas os pesos são publicados é «de pesos abertos». A definição de IA open source da Open Source Initiative (versão 1.0) exige mais: informações detalhadas sobre os dados de treino, o código completo de treino e de inferência, e os parâmetros, tudo sob condições aprovadas pela OSI (Open Source AI Definition). A maioria dos modelos que instalará são portanto modelos de pesos abertos, sob licenças mais ou menos permissivas.
Hardware, modelos e ferramentas para começar
A memória é o primeiro critério, antes da potência de cálculo. Um modelo deve caber inteiramente na memória vídeo (VRAM) da placa gráfica, ou na memória unificada de um Mac com chip Apple, para funcionar a uma velocidade confortável. O que transborda é desviado para a RAM e o processador, o que funciona mas abranda nitidamente. A necessidade total decompõe-se em três postos: os pesos, a cache chave-valor (cache KV) que cresce com o comprimento do contexto, e uma margem para o software e o sistema.
O Google publica para a sua família Gemma 4 um quadro útil para fixar as ordens de grandeza. Indica a memória necessária apenas para o carregamento dos pesos, com cerca de 20 % de margem incluída mas sem a cache KV (documentação Gemma do Google, consultada em novembro de 2026).
| Modelo Gemma 4 | 16 bits (BF16) | 8 bits (SFP8) | 4 bits (Q4_0) |
|---|---|---|---|
| E2B | 11,4 GB | 5,7 GB | 2,9 GB |
| E4B | 17,9 GB | 8,9 GB | 4,5 GB |
| 12B | 26,7 GB | 13,4 GB | 6,7 GB |
| 26B A4B (com especialistas) | 57,7 GB | 28,8 GB | 14,4 GB |
| 31B | 69,9 GB | 34,9 GB | 17,5 GB |
Dois ensinamentos ressaltam deste quadro. Primeiro, a quantização em 4 bits divide aproximadamente por quatro a pegada em relação aos 16 bits, o que explica por que os lançadores propõem quase sempre versões quantizadas por defeito. Depois, um modelo com especialistas (MoE) como o 26B A4B ativa apenas 4 mil milhões de parâmetros por token, mas o Google especifica que os 26 mil milhões têm mesmo assim de ser carregados em memória: a arquitetura acelera o cálculo, não o armazenamento.
Três configurações típicas
Estes números permitem raciocinar sobre casos concretos, a afinar com o calculador para modelo IA local do site, que estima a memória ocupada e a velocidade para uma placa ou um Mac dados:
- Portátil de 16 GB sem placa gráfica dedicada: vise os modelos de 2 a 4 mil milhões de parâmetros efetivos em 4 bits (menos de 5 GB de peso para Gemma 4 E4B), com um contexto modesto. É suficiente para reformular, resumir ou extrair informações de um texto curto.
- PC com uma placa de 8 GB de VRAM: um modelo da classe 8 a 12 mil milhões de parâmetros em 4 bits (6,7 GB de peso para Gemma 4 12B) cabe, mas a margem restante para a cache KV é fraca. Reduza o contexto ou aceite um transbordamento parcial para a RAM.
- Mac ou estação com 32 GB de memória disponível: os modelos de 26 a 31 mil milhões de parâmetros em 4 bits tornam-se acessíveis (14,4 a 17,5 GB de peso para Gemma 4), com espaço para um contexto mais longo.
Quanto a ferramentas, dois lançadores dominam para um primeiro uso. Ollama, publicado sob licença MIT, funciona em linha de comando e em aplicação, e expõe uma API local na porta 11434; a sua última versão estável no GitHub era a v0.40.16, publicada a 9 de novembro de 2026. LM Studio, gratuito incluindo para uso profissional desde julho de 2025, privilegia a interface gráfica, suporta os formatos GGUF e MLX e propõe também um servidor compatível com a API da OpenAI. O nosso comparativo Ollama vs LM Studio detalha as suas diferenças, e o nosso tutorial Ollama passo a passo cobre a instalação e a API.
Para os modelos, retenha quatro critérios: o tamanho compatível com a sua memória, a qualidade em português, a tarefa visada (redação, código, extração, visão) e a licença. Várias famílias recentes são publicadas sob licença Apache 2.0, que autoriza o uso comercial: Gemma 4 no Google, Qwen3.5 na Alibaba, Ministral 3 na Mistral AI ou ainda gpt-oss na OpenAI. A nossa seleção dos melhores modelos de IA locais compara-os por uso e por máquina.
O que é o RAG e quando é necessário?
O RAG (retrieval-augmented generation) associa um modelo de linguagem a um motor de pesquisa documental. O termo vem de um artigo de Patrick Lewis e dos seus coautores, submetido em maio de 2020, que descrevia modelos combinando uma memória «paramétrica», a dos pesos, e uma memória «não paramétrica», um índice de documentos consultado a pedido (Lewis et al., 2020). Na prática atual, o princípio permanece o mesmo: antes de responder, o sistema pesquisa as passagens pertinentes no seu corpus, insere-as no prompt, depois pede ao modelo para se apoiar nelas. Para aprofundar, consulte «Chunking RAG: como dividir os seus documentos para melhor responder?».
Esta abordagem responde a dois limites dos modelos sozinhos. Um LLM não conhece os seus documentos internos, e os seus conhecimentos param na data do seu treino. O RAG fornece-lhe no momento da pergunta um conteúdo atualizado e verificável, o que permite também exigir citações. Não modifica o modelo: adicionar ou retirar um documento basta para atualizar o que ele «sabe».
Uma grelha para decidir
O RAG não é sempre necessário. Segundo o tamanho do corpus e a frequência das suas atualizações, uma solução mais simples pode bastar. A grelha seguinte resume as situações mais comuns; reflete a nossa análise editorial, não um padrão.
| Situação | Solução mais simples | Porquê |
|---|---|---|
| Um ou dois documentos curtos a analisar pontualmente | Colar o texto no prompt | O conteúdo cabe na janela de contexto, nenhuma indexação é útil. |
| Centenas de documentos, perguntas variadas | RAG | Apenas as passagens pertinentes são enviadas, o que economiza o contexto e permite citar a fonte. |
| Documentos atualizados frequentemente (procedimentos, tarifas, FAQ) | RAG | Basta reindexar; o modelo não muda. |
| Necessidade de um tom, de um formato ou de um vocabulário profissional constante | Prompt de sistema, depois eventualmente fine-tuning | Trata-se de um comportamento a aprender, não de um conhecimento a recuperar. |
| O sistema deve agir (enviar um e-mail, modificar um ficheiro) | Agente com ferramentas | A pesquisa documental já não basta; são necessárias permissões e supervisão. |
A fronteira entre RAG e ajuste do modelo é objeto de um artigo dedicado da série, RAG vs fine-tuning. Quanto ao último caso do quadro, releva de outra lógica: se o seu projeto consiste em dar ao modelo ferramentas para agir, o nosso guia dos agentes IA explica como concebê-los e enquadrá-los. Detalhamos este ponto em «RAG vs fine-tuning: como escolher entre os dois?».
Como construir uma pesquisa documental fiável?
Um RAG constrói-se em dois tempos. A indexação prepara os documentos uma vez por todas; a consulta desenrola-se a cada pergunta. A qualidade final depende muito mais da primeira etapa que da escolha do modelo de geração: uma passagem mal dividida ou intransmissível nunca será citada corretamente, qualquer que seja o LLM.
- Extrair o texto dos PDF, páginas web ou ficheiros de escritório, conservando os títulos, a fonte e a data de cada documento. As tabelas e os PDF digitalizados exigem muitas vezes um tratamento específico.
- Dividir o texto em passagens (o chunking), por tamanho fixo, por parágrafo ou por secção. A boa granularidade depende do tipo de documento; o nosso artigo sobre a escolha de uma estratégia de chunking propõe uma árvore de decisão.
- Indexar as passagens: seja por palavras-chave (pesquisa de texto integral clássica), seja por vetores (embeddings), seja os dois. O Ollama expõe por exemplo um ponto de acesso /api/embed que devolve vetores normalizados; a sua documentação recomenda a similaridade cosseno e o uso do mesmo modelo de embedding para a indexação e para as consultas (documentação dos embeddings do Ollama).
- Pesquisar as passagens mais próximas da pergunta, depois eventualmente reclassificá-las.
- Gerar a resposta pedindo ao modelo para se apoiar unicamente nas passagens fornecidas, citar a sua fonte e responder «não sei» se a informação faltar.
A escolha entre pesquisa de texto integral e base vetorial não é ideológica. A pesquisa por palavras-chave sobressai nas referências exatas (um número de artigo, um código de produto), a pesquisa vetorial nas reformulações e nos sinónimos. Muitos sistemas combinam as duas. A série dedica um artigo à comparação entre pesquisa SQL FULLTEXT e base vetorial, e outro aos embeddings e à pesquisa semântica. O assunto é objeto de um artigo dedicado: «Embeddings: compreender os vetores e a pesquisa semântica».
Onde um RAG falha mais frequentemente
- Contexto demasiado curto: abaixo de 24 GiB de VRAM, o Ollama atribui por defeito uma janela de 4 096 tokens segundo a sua documentação. Dez passagens de 400 tokens, mais a pergunta e as instruções, já a saturam. Aumente-a (variável OLLAMA_CONTEXT_LENGTH ou parâmetro num_ctx) tendo em conta a memória adicional.
- Passagens cortadas no sítio errado: uma definição separada do seu título, uma tabela partida em dois pedaços.
- Modelo de embedding mal adaptado ao português ou diferente entre indexação e consulta.
- Ausência de citações: sem fonte exibida, o utilizador não pode distinguir uma resposta fundamentada de uma invenção.
- Nenhum conjunto de perguntas de referência: sem avaliação regular, uma regressão passa despercebida após uma atualização do corpus ou do modelo.
Para este último ponto, constitua uma trintena de perguntas de que conhece a resposta e o documento fonte, depois verifique a cada mudança que a passagem certa é recuperada e que a resposta a cita. O nosso guia para avaliar um modelo de linguagem detalha os métodos de medição aplicáveis. A prática completa, do corpus à interface, será objeto de um tutorial para criar um chatbot RAG sobre os seus documentos.
Segurança, custos, licenças e limites
Local não quer dizer seguro por defeito. O Ollama escuta por defeito em 127.0.0.1, isto é, apenas na própria máquina; torná-lo acessível à rede via OLLAMA_HOST=0.0.0.0 expõe uma API sem autenticação nativa a todos os postos que a podem contactar. Se várias pessoas devem utilizá-lo, coloque-a atrás de um proxy autenticado ou de uma firewall. Pense também que as atualizações automáticas e o descarregamento de modelos geram tráfego de saída, a documentar se a sua política de segurança o exigir.
O RAG acrescenta os seus próprios riscos. A OWASP classifica a injeção de prompt no topo do seu Top 10 2025 das aplicações de LLM e sublinha que instruções maliciosas podem chegar por fontes externas, como ficheiros ou páginas web, e que o RAG não remove este risco (OWASP, LLM01:2025). Um documento armadilhado no seu corpus pode portanto influenciar as respostas. O outro risco é a fuga pelo contexto: se o índice contém documentos de RH, um utilizador sem habilitação não deve poder fazê-los subir por uma pergunta hábil. A filtragem por direitos de acesso deve aplicar-se no momento da pesquisa, não apenas na interface.
A ANSSI publicou em abril de 2024 recomendações de segurança para os sistemas de IA generativa que se aplicam diretamente a estes projetos (guia ANSSI-PA-102). Encontra-se nomeadamente a utilização de formatos de modelos seguros (R6), a consideração da necessidade de conhecer desde a conceção (R8), a filtragem das entradas e saídas (R25), a limitação das ações automáticas desencadeadas a partir de entradas não controladas (R27) e a registo dos tratamentos (R29). Um artigo da série será dedicado à segurança de um sistema RAG.
Quanto a custos, a equação é simples de colocar mas não de decidir. O local substitui uma fatura ao uso por um investimento em hardware e tempo de administração; torna-se interessante quando os volumes são elevados e regulares, ou quando a confidencialidade proíbe a cloud. Para um uso ocasional, uma API faturada por token permanece muitas vezes mais económica e mais eficaz. O comparador interativo de modelos do site ajuda a situar os modelos comerciais face a esta alternativa.
As licenças, por fim, variam fortemente de um modelo para outro. Gemma 4, Qwen3.5, Ministral 3 e gpt-oss são publicados sob Apache 2.0. Mistral Large 4, cujos pesos foram publicados no final de outubro de 2026, releva de uma licença própria derivada da licença MIT, que exige uma licença comercial separada para o explorar em serviço alojado (model-as-a-service), segundo a sua ficha Hugging Face. Leia sistematicamente a licença antes de um uso comercial ou de uma redistribuição.
Verificar a sua instalação em cinco pontos
- O serviço escuta apenas no endereço previsto (local ou rede interna protegida).
- O comando ollama ps, ou o equivalente do seu lançador, mostra o modelo carregado a 100 % na GPU se for o objetivo, e o comprimento de contexto realmente atribuído.
- Nenhuma função cloud está ativada se os seus dados não devem sair da máquina.
- A licença do modelo é compatível com o seu uso, e a sua versão está anotada.
- Um conjunto de perguntas de referência permite medir a qualidade antes e depois de cada modificação.
Esta verificação não garante a ausência de falhas: estabelece uma base controlável, a retomar a cada atualização da ferramenta ou do modelo.
Tutoriais e ferramentas de dimensionamento
Este guia serve de ponto de entrada a uma série de artigos práticos, publicados progressivamente. O percurso «execução local» começa por instalar uma IA local em Windows, macOS ou Linux, prossegue com um tutorial Ollama dedicado aos comandos e à API, depois com o comparativo Ollama vs LM Studio. Completa-se pela seleção do melhor modelo de IA local segundo a tarefa e por um guia sobre a RAM e a VRAM necessárias a um LLM local, com simulações numeradas. Detalhamos este ponto em «Que modelo de IA escolher? Guia e comparativo dos LLM».
O percurso «perguntas sobre documentos» começa por uma definição detalhada do que é o RAG e da sua arquitetura, depois aborda a escolha entre RAG e fine-tuning, os embeddings, o chunking, a comparação entre FULLTEXT e base vetorial, a criação de um chatbot RAG sobre os seus documentos e a segurança de um RAG. Os dois percursos podem seguir-se independentemente. Para ir mais longe, leia o nosso artigo «RAG: definição, arquitetura e exemplos concretos».
Medir antes de comprar
Antes de investir numa placa gráfica, teste com o que tem. Instale um lançador, carregue um pequeno modelo quantizado, depois anote três valores: a memória ocupada, a velocidade de geração em tokens por segundo (Ollama fornece-a via os campos eval_count e eval_duration da sua API) e a qualidade das respostas sobre uma dezena de perguntas representativas do seu uso. Compare depois com a estimativa do calculador do site para a máquina considerada.
Este método tem os seus limites: as velocidades variam segundo o driver, a versão do lançador e o formato do modelo, e a qualidade em português não se lê em nenhum quadro de memória. Tem no entanto a vantagem de se basear nos seus próprios dados, o que permanece o melhor indicador para um projeto de IA local ou de RAG.
