¿Cabrá un modelo de IA en tu tarjeta gráfica? Esta calculadora estima la memoria necesaria para ejecutar un modelo localmente e indica, máquina por máquina, si cabe y a qué velocidad generará texto.
Cómo usarla
- Introduce el tamaño del modelo en miles de millones de parámetros; para un modelo MoE, añade también los parámetros activos.
- Elige la cuantificación, el tamaño del contexto, el tipo de caché KV y el número de peticiones en paralelo.
- Indica el número de GPU idénticas, la RAM del sistema y su ancho de banda.
- Consulta la tabla: cada máquina se clasifica como «cabe en memoria», «rebosa a la RAM» o «no cabe».
Los principios detrás del cálculo
- Los pesos ocupan parámetros × bits por peso ÷ 8: la cuantificación reduce directamente esta partida.
- El caché KV crece con el contexto y el número de peticiones simultáneas: 2 × capas × cabezas KV × dimensión de cabeza × bytes por valor × contexto × paralelismo. La herramienta usa una arquitectura típica según el tamaño del modelo.
- Se añade un coste fijo de 0,8 GB más un 5 % del peso de los modelos para los búferes y el tiempo de ejecución.
- La generación está limitada por el ancho de banda de memoria: velocidad ≈ 60 % del ancho de banda ÷ pesos activos. Si el modelo rebosa a la RAM, el cálculo combina la parte en GPU y la parte en RAM, notablemente más lenta.
Límites a tener en cuenta
Son estimaciones para una arquitectura típica; los modelos con atención eficiente requieren menos caché. La velocidad excluye el procesamiento del prompt. Los valores de las máquinas son los de los fabricantes.
