Que modelo de IA local para a minha máquina ?

  • A ferramenta lista os modelos abertos que cabem na sua máquina, com a quantização mais precisa possível.
  • Os cálculos são feitos no navegador, a partir da memória, dos pesos e da cache KV.
  • Os resultados são estimativas, que variam conforme o software, o driver e o formato do modelo.
  • Um modelo que cabe pode ser lento se parte dele for deslocada para a RAM do sistema.

Que modelo de IA roda na minha máquina? Escolha a sua placa gráfica, o seu Mac ou introduza a sua memória: a ferramenta lista os modelos abertos que cabem, com a quantização mais precisa possível, a memória ocupada e uma velocidade estimada em tokens por segundo. Tudo é calculado no seu navegador.

Como utilizar

  1. Selecione a sua máquina na lista, ou «Outra máquina» para introduzir a sua memória e largura de banda.
  2. Indique o número de placas idênticas e a sua memória RAM do sistema: ela serve para deslocar uma parte do modelo quando a placa não é suficiente.
  3. Escolha a utilização (conversa, visão, raciocínio, contexto longo) e o contexto desejado.
  4. Leia a tabela: os modelos que cabem confortavelmente aparecem primeiro, depois os que cabem por pouco, depois os que exigem o uso da RAM, o que é lento.

Como a memória é calculada

A memória de um modelo é a soma de três partes: os pesos (parâmetros multiplicados pelos bits da quantização, divididos por 8), a cache KV, que cresce com o contexto e o número de pedidos simultâneos, e um custo adicional de execução. Para cada modelo, a ferramenta retém a quantização mais precisa que cabe na memória. Os parâmetros, o número de camadas e as cabeças KV vêm das configurações públicas dos modelos no Hugging Face, lidas numa data exibida sob a tabela, e não de valores supostos.

Para partir de um modelo preciso em vez da sua máquina, utilize a ferramenta memória VRAM para IA local; para saber se o local é rentável, IA local ou API.

Limites a conhecer

Estes números são estimativas, não calibradas em medições públicas: o software de execução (llama.cpp, Ollama, LM Studio, MLX, vLLM), o driver e o formato do modelo alteram o resultado real. A velocidade é uma faixa, de 50 a 70% da largura de banda de memória dividida pelos pesos lidos para cada token. Para os modelos com especialistas (MoE), a velocidade depende dos parâmetros ativos, que só conhecemos quando o nome do modelo os indica; caso contrário, a velocidade exibida é um mínimo. Para os modelos com atenção híbrida ou janela deslizante, a cache exibida (indicada por «≤») é um limite superior. Só são listados os modelos cuja configuração pública é legível, e as licenças são exibidas conforme declaradas: verifique-as antes de um uso comercial. A ferramenta não mede nem a qualidade em francês nem o desempenho real na sua máquina.

Perguntas frequentes

Porque é que um modelo que «cabe» é lento?

Gerar um token exige reler os pesos ativos na memória. Se uma parte do modelo for deslocada para a RAM do sistema, cuja largura de banda é muito mais baixa do que a da placa, a velocidade cai: a ferramenta indica isso com «Cabe deslocando para a RAM (lento)».

O meu hardware não está na lista, o que fazer?

Escolha «Outra máquina» e introduza a memória (em GB) e a largura de banda de memória (em GB/s) indicadas pelo fabricante.