- La herramienta indica qué modelos abiertos caben en tu máquina, con su memoria ocupada y su velocidad estimada.
- Calcula la memoria sumando pesos, caché KV y sobrecoste de ejecución, y todo se procesa en tu navegador.
- Las cifras son estimaciones no calibradas, y el rendimiento real depende del software y del hardware.
- Si tu equipo no aparece, elige «Otra máquina» e introduce su memoria y su ancho de banda.
¿Qué modelo de IA funciona en mi máquina? Elige tu tarjeta gráfica, tu Mac o introduce tu memoria: la herramienta lista los modelos abiertos que caben, con la cuantificación más precisa posible, la memoria ocupada y una velocidad estimada en tokens por segundo. Todo se calcula en tu navegador.
Cómo utilizarlo
- Selecciona tu máquina en la lista, o «Otra máquina» para introducir su memoria y su ancho de banda.
- Indica el número de tarjetas idénticas y tu memoria RAM del sistema: sirve para derivar una parte del modelo cuando la tarjeta no es suficiente.
- Elige el uso (conversación, visión, razonamiento, contexto largo) y el contexto deseado.
- Lee la tabla: los modelos que caben cómodamente aparecen primero, luego los que caben justo, luego los que requieren desbordar en la RAM, lo cual es lento.
Cómo se calcula la memoria
La memoria de un modelo es la suma de tres partes: los pesos (parámetros multiplicados por los bits de la cuantificación, divididos por 8), la caché KV, que crece con el contexto y el número de peticiones simultáneas, y un sobrecoste de ejecución. Para cada modelo, la herramienta retiene la cuantificación más precisa que cabe en memoria. Los parámetros, el número de capas y las cabezas KV provienen de las configuraciones públicas de los modelos en Hugging Face, leídas en una fecha mostrada bajo la tabla, y no de valores supuestos.
Para partir de un modelo preciso en lugar de tu máquina, usa la herramienta memoria VRAM para la IA local; para saber si el local es rentable, IA local o API.
Límites a conocer
Estas cifras son estimaciones, no calibradas sobre medidas públicas: el software de ejecución (llama.cpp, Ollama, LM Studio, MLX, vLLM), el controlador y el formato del modelo cambian el resultado real. La velocidad es un rango, del 50 al 70 % del ancho de banda de memoria dividido por los pesos leídos para cada token. Para los modelos de expertos (MoE), la velocidad depende de los parámetros activos, que solo conocemos cuando el nombre del modelo los indica; si no, la velocidad mostrada es un mínimo. Para los modelos con atención híbrida o ventana deslizante, la caché mostrada (indicada por «≤») es un máximo. Solo se listan los modelos cuya configuración pública es legible, y las licencias se muestran según lo declarado: verifícalas antes de un uso comercial. La herramienta no mide ni la calidad en francés ni el rendimiento real en tu máquina.
Preguntas frecuentes
¿Por qué un modelo que «cabe» es lento?
Generar un token requiere releer los pesos activos en memoria. Si una parte del modelo se deriva a la RAM del sistema, cuyo ancho de banda es mucho más bajo que el de la tarjeta, la velocidad cae: la herramienta lo indica con «Cabe derivando a la RAM (lento)».
Mi hardware no está en la lista, ¿qué hago?
Elige «Otra máquina» e introduce la memoria (en GB) y el ancho de banda de memoria (en GB/s) indicados por el fabricante.