Marktechpost hat GPU Leaderboard gestartet, einen kostenlosen Vergleich von Mietpreisen für Grafikprozessoren (GPU) in der Cloud, die für die Inferenz von KI-Modellen gedacht sind, also für deren Ausführung nach dem Training. Die Seite wird begleitet von einer Erweiterung für Chrome, GPU Leaderboard: Deploy It, die dieselben Daten nutzt. Laut dem Herausgeber ist das Ziel, an einem einzigen Ort die Frage zu beantworten: « Welche GPU brauche ich und wo ist sie am günstigsten? »
Das Dashboard sortiert die in der Cloud mietbaren GPUs nach Preis pro GPU-Stunde. Die Daten werden von den Preis-Seiten jedes Anbieters ausgelesen, sowohl für On-Demand-Preise als auch für Spot-Preise, also Kapazitäten, die reduziert verkauft werden und unterbrechungsanfällig sind. Version 1 umfasst vier Ansichten. Die erste, « Inference pricing », ist ein Kostenrechner für einen kompletten Durchlauf und nicht nur für einen einfachen Stundentarif. Die zweite, « Leaderboard », zeigt alle Angebote sortiert nach Dollar pro GPU-Stunde an, filterbar nach GPU, Serie, Region und Verfügbarkeit. Die dritte, « Cheapest Inference », zeigt den niedrigsten On-Demand-Preis für jede gelistete GPU an. Die vierte ist ein Verzeichnis der Anbieter mit der Anzahl der Instanzen, den Regionen, gemeldeten Vorfällen auf Status-Seiten und der Historie der Preisprüfungen.
Ein Rechner für die Kosten eines kompletten Durchlaufs
Der Nutzer wählt einen Beschleuniger, eine Anzahl von GPUs, eine Dauer und eine Auslastungsrate. Der Rechner beziffert dann genau diesen Durchlauf bei jedem Anbieter, und ein optionales Feld für das Modell erlaubt es, die Liste einzuschränken. Das standardmäßig vorgeschlagene Beispiel ist das von 8 H100 über 72 Stunden bei 90 % Auslastung, also 576 GPU-Stunden. Das günstigste Ergebnis liegt bei $967,68 bei Latitude, zu $1,68 pro GPU-Stunde. Der Median über 15 Anbieter beträgt $1.716,48, und das teuerste Angebot ist das von CoreWeave bei $3.545,28.
Der Rechner zeigt auch einen « realen » Preis pro tatsächlich genutzter GPU-Stunde an. Leerlaufzeiten werden weiterhin berechnet: Laut dem Artikel werden aus $1,68 pro GPU-Stunde so bei 90 % Auslastung $1,87. Dies ist laut der Website die Zahl, die in Budgettabellen am häufigsten fehlt.
Eine Erweiterung zur Modellauswahl
Die Erweiterung Deploy It zielt darauf ab, diese Daten näher an die Orte zu bringen, an denen Entwickler ihre Modelle auswählen. Laut ihrer Beschreibung im Chrome Web Store funktioniert sie an drei Stellen. Auf Modell-Seiten von Hugging Face erkennt sie die Modellgröße und schätzt den benötigten Videospeicher, genannt VRAM, in den Formaten FP16, INT8 und INT4, numerischen Präzisionsformaten, die den benötigten Speicher reduzieren. Anschließend zeigt sie die günstigsten stündlichen GPUs an, die das Modell aufnehmen können. In GitHub-Repositories erkennt sie Verweise auf Modelle und bietet eine Hardware-Schätzung direkt auf der Seite. Schließlich ermöglicht eine Suche von der Browser-Symbolleiste aus die Abfrage jedes beliebigen Modells oder jeder GPU.
Die Website listet 201 Online-GPU-Angebote von 24 Anbietern auf. Laut dem Artikel sind die Abdeckung und die tägliche Aktualisierung der Daten die Hauptunterschiede zu älteren Tracking-Tools.
