Welk lokaal AI-model voor mijn machine ?

  • Le outil affiche les modèles ouverts compatibles avec votre machine, en Néerlandais le texte est en néerlandais.
  • Je dois corriger : la réponse doit être dans la langue du texte, donc en néerlandais.
  • De tool toont open AI-modellen die op uw machine passen, met de precieze quantisatie, het geheugen en een geschatte snelheid.
  • Alles wordt lokaal in uw browser berekend, en het geheugen is de som van gewichten, KV-cache en overhead.
  • De snelheden zijn schattingen; een model dat past kan traag zijn als het naar de systeem-RAM uitwijkt.
  • Controleer de licenties voor commercieel gebruik, want de tool meet noch de kwaliteit in het Frans noch de werkelijke prestaties.

Welk AI-model draait op mijn machine? Kies uw grafische kaart, uw Mac of voer uw geheugen in: de tool toont de open modellen die passen, met de meest precieze quantisatie mogelijk, het gebruikte geheugen en een geschatte snelheid in tokens per seconde. Alles wordt in uw browser berekend.

Hoe het te gebruiken

  1. Selecteer uw machine in de lijst, of ‘Andere machine’ om het geheugen en de bandbreedte in te voeren.
  2. Geef het aantal identieke kaarten en uw systeem-RAM aan: deze wordt gebruikt om een deel van het model uit te besteden als de kaart niet voldoende is.
  3. Kies het gebruik (gesprek, visie, redeneren, lange context) en de gewenste context.
  4. Lees de tabel: de modellen die comfortabel passen komen eerst, dan die die net passen, en dan die die uitwijken naar de RAM, wat traag is.

Hoe het geheugen wordt berekend

Het geheugen van een model is de som van drie delen: de gewichten (parameters vermenigvuldigd met de bits van de quantisatie, gedeeld door 8), de KV-cache, die groeit met de context en het aantal gelijktijdige verzoeken, en een overhead voor uitvoering. Voor elk model behoudt de tool de meest precieze quantisatie die in het geheugen past. De parameters, het aantal lagen en de KV-koppen komen uit de publieke configuraties van de modellen op Hugging Face, gelezen op een datum onder de tabel, en niet uit veronderstelde waarden.

Om uit te gaan van een specifiek model in plaats van uw machine, gebruik de tool VRAM-geheugen voor lokale AI; om te weten of lokaal rendabel is, lokale AI of API.

Limieten om te kennen

Deze cijfers zijn schattingen, niet gekalibreerd op publieke metingen: de uitvoersoftware (llama.cpp, Ollama, LM Studio, MLX, vLLM), de driver en het formaat van het model veranderen het werkelijke resultaat. De snelheid is een marge, van 50 tot 70% van de geheugenbandbreedte gedeeld door de gelezen gewichten per token. Voor expertmodellen (MoE) hangt de snelheid af van de actieve parameters, die we alleen kennen als de modelnaam ze aangeeft; anders is de weergegeven snelheid een minimum. Voor modellen met hybride aandacht of glijdend venster is de weergegeven cache (aangegeven met ‘≤’) een bovengrens. Alleen modellen waarvan de publieke configuratie leesbaar is, worden vermeld, en de licenties worden weergegeven zoals aangegeven: controleer ze voor commercieel gebruik. De tool meet niet de kwaliteit in het Frans noch de werkelijke prestaties op uw machine.

Veelgestelde vragen

Waarom is een model dat ‘past’ traag?

Het genereren van een token vereist het herlezen van de actieve gewichten in het geheugen. Als een deel van het model wordt uitbesteed aan de systeem-RAM, waarvan de bandbreedte veel lager is dan die van de kaart, daalt de snelheid: de tool geeft dit aan met ‘Past door uit te wijken naar de RAM (traag)’.

Mijn hardware staat niet in de lijst, wat te doen?

Kies ‘Andere machine’ en voer het geheugen (in GB) en de geheugenbandbreedte (in GB/s) in zoals opgegeven door de fabrikant.