Quel modèle d’IA local pour ma machine ?

Quel modèle d’IA tourne sur ma machine ? Choisissez votre carte graphique, votre Mac ou saisissez votre mémoire : l’outil liste les modèles ouverts qui tiennent, avec la quantification la plus précise possible, la mémoire occupée et une vitesse estimée en tokens par seconde. Tout est calculé dans votre navigateur.

  • L’outil liste les modèles ouverts qui tiennent dans votre machine.
  • Il indique la quantification, la mémoire occupée et une vitesse estimée en tokens par seconde.
  • Les calculs se font dans votre navigateur, mais restent des estimations non calibrées sur des mesures publiques.
  • Pour un matériel absent de la liste, vous saisissez la mémoire et la bande passante mémoire.

Comment l’utiliser

  1. Sélectionnez votre machine dans la liste, ou « Autre machine » pour saisir sa mémoire et sa bande passante.
  2. Indiquez le nombre de cartes identiques et votre mémoire vive système : elle sert à déporter une partie du modèle quand la carte ne suffit pas.
  3. Choisissez l’usage (discussion, vision, raisonnement, long contexte) et le contexte souhaité.
  4. Lisez le tableau : les modèles qui tiennent confortablement viennent en premier, puis ceux qui tiennent de justesse, puis ceux qui demandent de déborder sur la RAM, ce qui est lent.

Comment la mémoire est calculée

La mémoire d’un modèle est la somme de trois parties : les poids (paramètres multipliés par les bits de la quantification, divisés par 8), le cache KV, qui grandit avec le contexte et le nombre de requêtes simultanées, et un surcoût d’exécution. Pour chaque modèle, l’outil retient la quantification la plus précise qui tient en mémoire. Les paramètres, le nombre de couches et les têtes KV viennent des configurations publiques des modèles sur Hugging Face, lues à une date affichée sous le tableau, et non de valeurs supposées.

Pour partir d’un modèle précis plutôt que de votre machine, utilisez l’outil mémoire VRAM pour l’IA locale ; pour savoir si le local est rentable, IA locale ou API.

Limites à connaître

Ces chiffres sont des estimations, non calibrées sur des mesures publiques : le logiciel d’exécution (llama.cpp, Ollama, LM Studio, MLX, vLLM), le pilote et le format du modèle changent le résultat réel. La vitesse est une fourchette, de 50 à 70 % de la bande passante mémoire divisée par les poids lus pour chaque token. Pour les modèles à experts (MoE), la vitesse dépend des paramètres actifs, que nous ne connaissons que lorsque le nom du modèle les indique ; sinon la vitesse affichée est un plancher. Pour les modèles à attention hybride ou à fenêtre glissante, le cache affiché (signalé par « ≤ ») est un majorant. Seuls les modèles dont la configuration publique est lisible sont listés, et les licences sont affichées telles que déclarées : vérifiez-les avant un usage commercial. L’outil ne mesure ni la qualité en français ni les performances réelles sur votre machine.

Questions fréquentes

Pourquoi un modèle qui « tient » est-il lent ?

Générer un token demande de relire les poids actifs en mémoire. Si une partie du modèle est déportée sur la RAM du système, dont la bande passante est bien plus faible que celle de la carte, la vitesse chute : l’outil le signale par « Tient en déportant sur la RAM (lent) ».

Mon matériel n’est pas dans la liste, que faire ?

Choisissez « Autre machine » et saisissez la mémoire (en Go) et la bande passante mémoire (en Go/s) indiquées par le constructeur.