Past een AI-model op je grafische kaart? Deze calculator schat het benodigde geheugen om een model lokaal te draaien en toont, per machine, of het past en hoe snel het tekst zal genereren.
Hoe het te gebruiken
- Voer de grootte van het model in miljarden parameters in; voor een MoE-model, voeg ook de actieve parameters toe.
- Kies de kwantisatie, de contextgrootte, het type KV-cache en het aantal parallelle verzoeken.
- Geef het aantal identieke GPU’s, het systeem-RAM en de bandbreedte ervan op.
- Raadpleeg de tabel: elke machine wordt geclassificeerd als ‘past in geheugen’, ‘loopt over op RAM’ of ‘past niet’.
De principes achter de berekening
- De gewichten nemen parameters × bits per gewicht ÷ 8 in beslag: kwantisatie verlaagt dit direct.
- De KV-cache groeit met de context en het aantal gelijktijdige verzoeken: 2 × lagen × KV-koppen × kopdimensie × bytes per waarde × context × parallelisme. De tool gebruikt een typische architectuur op basis van de modelgrootte.
- Een vaste overhead van 0,8 GB plus 5% van het modelgewicht wordt toegevoegd voor buffers en runtime.
- De generatie wordt beperkt door de geheugenbandbreedte: snelheid ≈ 60% van de bandbreedte ÷ actieve gewichten. Als het model overloopt op RAM, combineert de berekening het GPU-deel en het RAM-deel, dat aanzienlijk langzamer is.
Limieten om te weten
Dit zijn schattingen voor een typische architectuur; modellen met efficiënte aandacht vragen minder cache. De snelheid sluit de verwerking van de prompt uit. De machinewaarden zijn die van de fabrikanten.
