- Este calculador estima a memória necessária para executar um modelo de IA localmente.
- Indica se o modelo cabe na placa gráfica, transborda para a RAM ou não cabe.
- Os pesos dependem dos parâmetros e da quantização, enquanto o cache KV cresce com o contexto e os pedidos paralelos.
- A velocidade de geração depende da largura de banda da memória e diminui quando o modelo transborda para a RAM.
Um modelo de IA caberá na sua placa gráfica? Este calculador estima a memória necessária para executar um modelo localmente e indica, máquina a máquina, se ele cabe e a que velocidade gerará texto.
Como utilizá-lo
- Introduza o tamanho do modelo em milhares de milhões de parâmetros; para um modelo MoE, adicione também os parâmetros ativos.
- Escolha a quantização, o tamanho do contexto, o tipo de cache KV e o número de pedidos em paralelo.
- Indique o número de GPUs idênticas, a RAM do sistema e a sua largura de banda.
- Consulte a tabela: cada máquina é classificada como «cabe na memória», «transborda para a RAM» ou «não cabe».
Os princípios por detrás do cálculo
- Os pesos ocupam parâmetros × bits por peso ÷ 8: a quantização reduz diretamente este valor.
- O cache KV cresce com o contexto e o número de pedidos simultâneos: 2 × camadas × cabeças KV × dimensão da cabeça × bytes por valor × contexto × paralelismo. A ferramenta utiliza uma arquitetura típica de acordo com o tamanho do modelo.
- Um custo fixo adicional de 0,8 GB mais 5 % do peso dos modelos é adicionado para os buffers e o runtime.
- A geração é limitada pela largura de banda da memória: velocidade ≈ 60 % da largura de banda ÷ pesos ativos. Se o modelo transbordar para a RAM, o cálculo combina a parte na GPU e a parte na RAM, significativamente mais lenta.
Limitações a conhecer
São estimativas para uma arquitetura típica; os modelos com atenção eficiente exigem menos cache. A velocidade exclui o processamento do prompt. Os valores das máquinas são os dos fabricantes.
