- Der Rechner prüft, ob ein KI-Modell in den Grafikspeicher passt.
- Gewichte und KV-Cache bestimmen den Speicherbedarf maßgeblich.
- Die Generierungsgeschwindigkeit hängt von der Speicherbandbreite ab.
- Die Ergebnisse sind Schätzungen auf Basis typischer Architekturen und Herstellerangaben.
Passt ein KI-Modell auf Ihre Grafikkarte? Dieser Rechner schätzt den benötigten Speicherbedarf für den lokalen Betrieb eines Modells und zeigt für jede Maschine an, ob es passt und mit welcher Geschwindigkeit es Text generiert.
So wird er verwendet
- Geben Sie die Modellgröße in Milliarden Parametern ein; für ein MoE-Modell fügen Sie auch die aktiven Parameter hinzu.
- Wählen Sie die Quantisierung, die Kontextgröße, den KV-Cache-Typ und die Anzahl paralleler Anfragen.
- Geben Sie die Anzahl identischer GPUs, den System-RAM und dessen Bandbreite an.
- Prüfen Sie die Tabelle: Jede Maschine wird als « passt in den Speicher », « überläuft in den RAM » oder « passt nicht » eingestuft.
Die Prinzipien hinter der Berechnung
- Die Gewichte belegen Parameter × Bits pro Gewicht ÷ 8: Die Quantisierung reduziert diesen Posten direkt.
- Der KV-Cache wächst mit dem Kontext und der Anzahl gleichzeitiger Anfragen: 2 × Schichten × KV-Köpfe × Kopf-Dimension × Bytes pro Wert × Kontext × Parallelität. Das Tool verwendet eine typische Architektur entsprechend der Modellgröße.
- Ein Fixkostenaufschlag von 0,8 GB plus 5 % des Modellgewichts wird für Puffer und Laufzeitumgebung hinzugefügt.
- Die Generierung wird durch die Speicherbandbreite begrenzt: Geschwindigkeit ≈ 60 % der Bandbreite ÷ aktive Gewichte. Wenn das Modell in den RAM überläuft, kombiniert die Berechnung den GPU-Anteil und den deutlich langsameren RAM-Anteil.
Zu beachtende Einschränkungen
Es handelt sich um Schätzungen für eine typische Architektur; Modelle mit sparsamer Aufmerksamkeit benötigen weniger Cache. Die Geschwindigkeit schließt die Verarbeitung des Prompts aus. Die Maschinenwerte stammen von den Herstellern.
