IA local y RAG : guía para usar modelos con tus datos

IA local y RAG : guía para usar modelos con tus datos
16 min de lectura

Ejecutar un modelo de lenguaje en tu máquina y hacer que responda a partir de tus documentos son dos proyectos distintos, que se combinan. La IA local mantiene las consultas en tu hardware; el RAG, o generación aumentada por recuperación, busca los pasajes útiles en tus archivos antes de redactar la respuesta. Con 16 GB de memoria, un lanzador como Ollama o LM Studio y un modelo cuantificado de unos pocos miles de millones de parámetros, ya puedes probar ambos sin suscripción.

Esta guía separa deliberadamente los dos recorridos. El primero responde a la pregunta «¿cómo ejecutar un modelo en mi equipo?»: hardware, elección del modelo, herramientas. El segundo responde a «¿cómo consultarlo sobre mis datos sin que invente?»: división de los documentos, búsqueda, citas y control. Ambos se unen en una arquitectura común, descrita más abajo. Las versiones y cifras citadas se verificaron en noviembre de 2026 en las documentaciones oficiales; evolucionan rápido y deben revalidarse antes de cualquier compra de hardware. Para profundizar, lee nuestro artículo «Búsqueda SQL FULLTEXT vs base vectorial: ¿qué motor para un RAG?».

¿Por qué ejecutar una IA en local?

La primera razón es el control de los datos. Cuando el modelo se ejecuta en tu equipo o en un servidor interno, el texto que le envías no necesita pasar por un servicio de terceros. La documentación de Ollama especifica así que en ejecución local, la herramienta no tiene acceso a tus prompts, y que las funciones cloud pueden desactivarse con la variable OLLAMA_NO_CLOUD=1 o mediante un ajuste en ~/.ollama/server.json (FAQ de Ollama). LM Studio indica por su parte que las conversaciones y los documentos adjuntos para el RAG permanecen en la máquina, siendo Internet necesario solo para buscar y descargar modelos o actualizaciones (documentación offline de LM Studio).

Luego vienen la previsibilidad de costes y la estabilidad. Un modelo local no factura por token: pagas el hardware y la electricidad, cualquiera que sea el volumen. También congelas la versión del modelo, lo que evita que una actualización por parte del proveedor cambie el comportamiento de una aplicación ya validada. Por último, la ejecución funciona sin conexión una vez descargados los archivos, un argumento para los desplazamientos o los sitios aislados.

Hay que aceptar, sin embargo, compromisos. Los modelos que caben en un portátil siguen siendo en general menos potentes que los grandes modelos de las API comerciales en razonamiento complejo, y la velocidad depende directamente de tu tarjeta gráfica o de tu chip. La instalación, las actualizaciones y la seguridad del servicio pasan también a ser tu responsabilidad.

El vocabulario indispensable

  • Peso: los parámetros aprendidos por el modelo, distribuidos en forma de archivos de varios gigabytes. Su número (8B para 8 mil millones, por ejemplo) determina en gran parte la memoria necesaria.
  • Cuantificación: la reducción de la precisión de estos pesos (de 16 bits a 8 o 4 bits por ejemplo), que divide el tamaño del archivo a cambio de una pérdida de calidad más o menos sensible.
  • Ventana de contexto: el número máximo de tokens (fragmentos de palabras) que el modelo puede procesar de una vez, pregunta, historial y documentos incluidos.
  • Open weights y open source: un modelo cuyos pesos se publican es «de pesos abiertos». La definición de IA open source de la Open Source Initiative (versión 1.0) exige más: información detallada sobre los datos de entrenamiento, el código completo de entrenamiento e inferencia, y los parámetros, todo ello bajo condiciones aprobadas por la OSI (Open Source AI Definition). La mayoría de los modelos que instalarás son, por tanto, modelos de pesos abiertos, bajo licencias más o menos permisivas.

Hardware, modelos y herramientas para empezar

La memoria es el primer criterio, antes que la potencia de cálculo. Un modelo debe caber por completo en la memoria de vídeo (VRAM) de la tarjeta gráfica, o en la memoria unificada de un Mac con chip Apple, para funcionar a una velocidad cómoda. Lo que se desborda se deriva a la RAM y al procesador, lo que funciona pero ralentiza notablemente. La necesidad total se descompone en tres partidas: los pesos, la caché clave-valor (cache KV) que crece con la longitud del contexto, y un margen para el software y el sistema.

Google publica para su familia Gemma 4 una tabla útil para fijar los órdenes de magnitud. Indica la memoria necesaria solo para cargar los pesos, con aproximadamente un 20% de margen incluido pero sin la caché KV (documentación Gemma de Google, consultada en noviembre de 2026).

Modelo Gemma 4 16 bits (BF16) 8 bits (SFP8) 4 bits (Q4_0)
E2B 11,4 GB 5,7 GB 2,9 GB
E4B 17,9 GB 8,9 GB 4,5 GB
12B 26,7 GB 13,4 GB 6,7 GB
26B A4B (de expertos) 57,7 GB 28,8 GB 14,4 GB
31B 69,9 GB 34,9 GB 17,5 GB

Dos enseñanzas se desprenden de esta tabla. Primero, la cuantificación en 4 bits divide aproximadamente por cuatro la huella respecto a los 16 bits, lo que explica por qué los lanzadores proponen casi siempre versiones cuantificadas por defecto. Luego, un modelo de expertos (MoE) como el 26B A4B solo activa 4 mil millones de parámetros por token, pero Google precisa que los 26 mil millones deben cargarse igualmente en memoria: la arquitectura acelera el cálculo, no el almacenamiento.

Tres configuraciones típicas

Estas cifras permiten razonar sobre casos concretos, a afinar con el calculador para modelo IA local del sitio, que estima la memoria ocupada y la velocidad para una tarjeta o un Mac dados:

  • Portátil de 16 GB sin tarjeta gráfica dedicada: apunta a modelos de 2 a 4 mil millones de parámetros efectivos en 4 bits (menos de 5 GB de peso para Gemma 4 E4B), con un contexto modesto. Es suficiente para reformular, resumir o extraer información de un texto corto.
  • PC con una tarjeta de 8 GB de VRAM: un modelo de la clase 8 a 12 mil millones de parámetros en 4 bits (6,7 GB de peso para Gemma 4 12B) cabe, pero el margen restante para la caché KV es escaso. Reduce el contexto o acepta un desbordamiento parcial hacia la RAM.
  • Mac o estación con 32 GB de memoria disponible: los modelos de 26 a 31 mil millones de parámetros en 4 bits se vuelven accesibles (14,4 a 17,5 GB de peso para Gemma 4), con espacio para un contexto más largo.

En cuanto a herramientas, dos lanzadores dominan para un primer uso. Ollama, publicado bajo licencia MIT, funciona en línea de comandos y en aplicación, y expone una API local en el puerto 11434; su última versión estable en GitHub era la v0.40.16, publicada el 9 de noviembre de 2026. LM Studio, gratuito incluso para uso profesional desde julio de 2025, privilegia la interfaz gráfica, soporta los formatos GGUF y MLX y propone también un servidor compatible con la API de OpenAI. Nuestro comparativo Ollama vs LM Studio detalla sus diferencias, y nuestro tutorial Ollama paso a paso cubre la instalación y la API.

Para los modelos, ten en cuenta cuatro criterios: el tamaño compatible con tu memoria, la calidad en francés, la tarea prevista (redacción, código, extracción, visión) y la licencia. Varias familias recientes se publican bajo licencia Apache 2.0, que autoriza el uso comercial: Gemma 4 en Google, Qwen3.5 en Alibaba, Ministral 3 en Mistral AI o también gpt-oss en OpenAI. Nuestra selección de los mejores modelos de IA local los compara por uso y por máquina.

¿Qué es el RAG y cuándo se necesita?

El RAG (retrieval-augmented generation) asocia un modelo de lenguaje a un motor de búsqueda documental. El término proviene de un artículo de Patrick Lewis y sus coautores, presentado en mayo de 2020, que describía modelos combinando una memoria «paramétrica», la de los pesos, y una memoria «no paramétrica», un índice de documentos consultado bajo demanda (Lewis et al., 2020). En la práctica actual, el principio sigue siendo el mismo: antes de responder, el sistema busca los pasajes relevantes en tu corpus, los inserta en el prompt, luego pide al modelo que se apoye en ellos. Para profundizar, consulta «Chunking RAG: ¿cómo dividir tus documentos para responder mejor?».

Este enfoque responde a dos límites de los modelos solos. Un LLM no conoce tus documentos internos, y sus conocimientos se detienen en la fecha de su entrenamiento. El RAG le proporciona en el momento de la pregunta un contenido actualizado y verificable, lo que permite también exigir citas. No modifica el modelo: añadir o retirar un documento basta para actualizar lo que «sabe».

Una cuadrícula para decidir

El RAG no siempre es necesario. Según el tamaño del corpus y la frecuencia de sus actualizaciones, una solución más simple puede bastar. La cuadrícula siguiente resume las situaciones más comunes; refleja nuestro análisis editorial, no un estándar.

Situación Solución más simple Por qué
Uno o dos documentos cortos para analizar puntualmente Pegar el texto en el prompt El contenido cabe en la ventana de contexto, ninguna indexación es útil.
Cientos de documentos, preguntas variadas RAG Solo los pasajes relevantes se envían, lo que ahorra contexto y permite citar la fuente.
Documentos actualizados a menudo (procedimientos, tarifas, FAQ) RAG Basta con reindexar; el modelo no cambia.
Necesidad de un tono, un formato o un vocabulario profesional constante Prompt de sistema, luego eventualmente fine-tuning Se trata de un comportamiento que aprender, no de un conocimiento que recuperar.
El sistema debe actuar (enviar un correo, modificar un archivo) Agente con herramientas La búsqueda documental ya no basta; se necesitan permisos y supervisión.

La frontera entre RAG y ajuste del modelo es objeto de un artículo dedicado de la serie, RAG vs fine-tuning. En cuanto al último caso de la tabla, responde a otra lógica: si tu proyecto consiste en dar al modelo herramientas para actuar, nuestro guía de agentes IA explica cómo diseñarlos y enmarcarlos. Detallamos este punto en «RAG vs fine-tuning: ¿cómo elegir entre los dos?».

¿Cómo construir una búsqueda documental fiable?

Un RAG se construye en dos tiempos. La indexación prepara los documentos una vez para siempre; la consulta se desarrolla en cada pregunta. La calidad final depende mucho más de la primera etapa que de la elección del modelo de generación: un pasaje mal dividido o no encontrado nunca será citado correctamente, cualquiera que sea el LLM.

  1. Extraer el texto de PDF, páginas web o archivos ofimáticos, conservando los títulos, la fuente y la fecha de cada documento. Las tablas y los PDF escaneados requieren a menudo un tratamiento específico.
  2. Dividir el texto en pasajes (el chunking), por tamaño fijo, por párrafo o por sección. La buena granularidad depende del tipo de documento; nuestro artículo sobre la elección de una estrategia de chunking propone un árbol de decisión.
  3. Indexar los pasajes: ya sea por palabras clave (búsqueda de texto completo clásica), ya sea por vectores (embeddings), o ambos. Ollama expone por ejemplo un punto de acceso /api/embed que devuelve vectores normalizados; su documentación recomienda la similitud coseno y el uso del mismo modelo de embedding para la indexación y para las consultas (documentación de embeddings de Ollama).
  4. Buscar los pasajes más próximos a la pregunta, luego eventualmente reordenarlos.
  5. Generar la respuesta pidiendo al modelo que se apoye únicamente en los pasajes proporcionados, que cite su fuente y que responda «no lo sé» si falta la información.

La elección entre búsqueda de texto completo y base vectorial no es ideológica. La búsqueda por palabras clave destaca en las referencias exactas (un número de artículo, un código de producto), la búsqueda vectorial en las reformulaciones y los sinónimos. Muchos sistemas combinan ambas. La serie dedica un artículo a la comparación entre búsqueda SQL FULLTEXT y base vectorial, y otro a los embeddings y a la búsqueda semántica. El tema es objeto de un artículo dedicado: «Embeddings: comprender los vectores y la búsqueda semántica».

Dónde falla más a menudo un RAG

  • Contexto demasiado corto: por debajo de 24 GiB de VRAM, Ollama asigna por defecto una ventana de 4.096 tokens según su documentación. Diez pasajes de 400 tokens, más la pregunta y las instrucciones, ya la saturan. Auméntala (variable OLLAMA_CONTEXT_LENGTH o parámetro num_ctx) teniendo en cuenta la memoria adicional.
  • Pasajes cortados en el lugar incorrecto: una definición separada de su título, una tabla repartida en dos trozos.
  • Modelo de embedding mal adaptado al francés o diferente entre indexación y consulta.
  • Ausencia de citas: sin fuente mostrada, el usuario no puede distinguir una respuesta fundamentada de una invención.
  • Falta de un juego de preguntas de referencia: sin evaluación regular, una regresión pasa desapercibida tras una actualización del corpus o del modelo.

Para este último punto, constituye una treintena de preguntas cuya respuesta y documento fuente conoces, luego verifica en cada cambio que el pasaje correcto se recupera y que la respuesta lo cita. Nuestra guía para evaluar un modelo de lenguaje detalla los métodos de medición aplicables. La puesta en práctica completa, del corpus a la interfaz, será objeto de un tutorial para crear un chatbot RAG sobre tus documentos.

Seguridad, costes, licencias y límites

Local no quiere decir seguro por defecto. Ollama escucha por defecto en 127.0.0.1, es decir, únicamente en la máquina misma; hacerlo accesible a la red mediante OLLAMA_HOST=0.0.0.0 expone una API sin autenticación nativa a todos los equipos que puedan alcanzarla. Si varias personas deben usarla, colócala detrás de un proxy autenticado o un firewall. Piensa también que las actualizaciones automáticas y la descarga de modelos generan tráfico saliente, a documentar si tu política de seguridad lo exige.

El RAG añade sus propios riesgos. OWASP clasifica la inyección de prompt en cabeza de su Top 10 2025 de aplicaciones de LLM y subraya que instrucciones maliciosas pueden llegar por fuentes externas, como archivos o páginas web, y que el RAG no elimina este riesgo (OWASP, LLM01:2025). Un documento trampa en tu corpus puede, por tanto, influir en las respuestas. El otro riesgo es la fuga por el contexto: si el índice contiene documentos de RRHH, un usuario sin autorización no debe poder hacerlos aparecer mediante una pregunta hábil. El filtrado por derechos de acceso debe aplicarse en el momento de la búsqueda, no solo en la interfaz.

La ANSSI publicó en abril de 2024 recomendaciones de seguridad para sistemas de IA generativa que se aplican directamente a estos proyectos (guía ANSSI-PA-102). En ellas se encuentra, entre otras, el uso de formatos de modelos seguros (R6), la consideración de la necesidad de conocer desde el diseño (R8), el filtrado de entradas y salidas (R25), la limitación de acciones automáticas desencadenadas a partir de entradas no controladas (R27) y el registro de los tratamientos (R29). Un artículo de la serie estará dedicado a la seguridad de un sistema RAG.

En cuanto a costes, la ecuación es simple de plantear pero no de resolver. Lo local sustituye una factura por uso por una inversión en hardware y tiempo de administración; se vuelve interesante cuando los volúmenes son elevados y regulares, o cuando la confidencialidad prohíbe la nube. Para un uso ocasional, una API facturada por token sigue siendo a menudo más económica y más potente. El comparador interactivo de modelos del sitio ayuda a situar los modelos comerciales frente a esta alternativa.

Las licencias, finalmente, varían mucho de un modelo a otro. Gemma 4, Qwen3.5, Ministral 3 y gpt-oss se publican bajo Apache 2.0. Mistral Large 4, cuyos pesos se publicaron a finales de octubre de 2026, está bajo una licencia propia derivada de la licencia MIT, que exige una licencia comercial separada para explotarlo en servicio alojado (model-as-a-service), según su ficha en Hugging Face. Lee sistemáticamente la licencia antes de un uso comercial o una redistribución.

Verificar tu instalación en cinco puntos

  1. El servicio solo escucha en la dirección prevista (local o red interna protegida).
  2. El comando ollama ps, o el equivalente de tu lanzador, muestra el modelo cargado al 100% en la GPU si ese es el objetivo, y la longitud de contexto realmente asignada.
  3. Ninguna función cloud está activada si tus datos no deben salir de la máquina.
  4. La licencia del modelo es compatible con tu uso, y su versión está anotada.
  5. Un juego de preguntas de referencia permite medir la calidad antes y después de cada modificación.

Esta verificación no garantiza la ausencia de fallos: establece una base controlable, a retomar en cada actualización de la herramienta o del modelo.

Tutoriales y herramientas de dimensionamiento

Esta guía sirve de punto de entrada a una serie de artículos prácticos, publicados progresivamente. El recorrido «ejecución local» empieza por instalar una IA local en Windows, macOS o Linux, continúa con un tutorial Ollama dedicado a los comandos y a la API, luego con el comparativo Ollama vs LM Studio. Se completa con la selección del mejor modelo de IA local según la tarea y con una guía sobre la RAM y la VRAM necesarias para un LLM local, con simulaciones cifradas. Detallamos este punto en «¿Qué modelo de IA elegir? Guía y comparativo de los LLM».

El recorrido «preguntas sobre documentos» arranca con una definición detallada de qué es el RAG y de su arquitectura, luego aborda la elección entre RAG y fine-tuning, los embeddings, el chunking, la comparación entre FULLTEXT y base vectorial, la creación de un chatbot RAG sobre tus documentos y la seguridad de un RAG. Los dos recorridos pueden seguirse independientemente. Para profundizar, lee nuestro artículo «RAG: definición, arquitectura y ejemplos concretos».

Medir antes de comprar

Antes de invertir en una tarjeta gráfica, prueba con lo que tienes. Instala un lanzador, carga un modelo pequeño cuantificado, luego anota tres valores: la memoria ocupada, la velocidad de generación en tokens por segundo (Ollama la proporciona mediante los campos eval_count y eval_duration de su API) y la calidad de las respuestas sobre una decena de preguntas representativas de tu uso. Compara luego con la estimación del calculador del sitio para la máquina considerada.

Este método tiene sus límites: las velocidades varían según el controlador, la versión del lanzador y el formato del modelo, y la calidad en francés no se lee en ninguna tabla de memoria. Tiene sin embargo la ventaja de basarse en tus propios datos, lo que sigue siendo el mejor indicador para un proyecto de IA local o de RAG.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x