- A ferramenta lista os modelos abertos que cabem na sua máquina, com a quantização mais precisa possível.
- Os cálculos são feitos no navegador, a partir da memória, dos pesos e da cache KV.
- Os resultados são estimativas, que variam conforme o software, o driver e o formato do modelo.
- Um modelo que cabe pode ser lento se parte dele for deslocada para a RAM do sistema.
Que modelo de IA roda na minha máquina? Escolha a sua placa gráfica, o seu Mac ou introduza a sua memória: a ferramenta lista os modelos abertos que cabem, com a quantização mais precisa possível, a memória ocupada e uma velocidade estimada em tokens por segundo. Tudo é calculado no seu navegador.
Como utilizar
- Selecione a sua máquina na lista, ou «Outra máquina» para introduzir a sua memória e largura de banda.
- Indique o número de placas idênticas e a sua memória RAM do sistema: ela serve para deslocar uma parte do modelo quando a placa não é suficiente.
- Escolha a utilização (conversa, visão, raciocínio, contexto longo) e o contexto desejado.
- Leia a tabela: os modelos que cabem confortavelmente aparecem primeiro, depois os que cabem por pouco, depois os que exigem o uso da RAM, o que é lento.
Como a memória é calculada
A memória de um modelo é a soma de três partes: os pesos (parâmetros multiplicados pelos bits da quantização, divididos por 8), a cache KV, que cresce com o contexto e o número de pedidos simultâneos, e um custo adicional de execução. Para cada modelo, a ferramenta retém a quantização mais precisa que cabe na memória. Os parâmetros, o número de camadas e as cabeças KV vêm das configurações públicas dos modelos no Hugging Face, lidas numa data exibida sob a tabela, e não de valores supostos.
Para partir de um modelo preciso em vez da sua máquina, utilize a ferramenta memória VRAM para IA local; para saber se o local é rentável, IA local ou API.
Limites a conhecer
Estes números são estimativas, não calibradas em medições públicas: o software de execução (llama.cpp, Ollama, LM Studio, MLX, vLLM), o driver e o formato do modelo alteram o resultado real. A velocidade é uma faixa, de 50 a 70% da largura de banda de memória dividida pelos pesos lidos para cada token. Para os modelos com especialistas (MoE), a velocidade depende dos parâmetros ativos, que só conhecemos quando o nome do modelo os indica; caso contrário, a velocidade exibida é um mínimo. Para os modelos com atenção híbrida ou janela deslizante, a cache exibida (indicada por «≤») é um limite superior. Só são listados os modelos cuja configuração pública é legível, e as licenças são exibidas conforme declaradas: verifique-as antes de um uso comercial. A ferramenta não mede nem a qualidade em francês nem o desempenho real na sua máquina.
Perguntas frequentes
Porque é que um modelo que «cabe» é lento?
Gerar um token exige reler os pesos ativos na memória. Se uma parte do modelo for deslocada para a RAM do sistema, cuja largura de banda é muito mais baixa do que a da placa, a velocidade cai: a ferramenta indica isso com «Cabe deslocando para a RAM (lento)».
O meu hardware não está na lista, o que fazer?
Escolha «Outra máquina» e introduza a memória (em GB) e a largura de banda de memória (em GB/s) indicadas pelo fabricante.