Marktechpost heeft GPU Leaderboard gelanceerd, een gratis vergelijker van huurprijzen voor grafische processoren (GPU’s) in de cloud, bedoeld voor de inferentie van AI-modellen, dat wil zeggen voor het uitvoeren ervan zodra ze getraind zijn. De site gaat vergezeld van een extensie voor Chrome, GPU Leaderboard: Deploy It, die dezelfde gegevens weergeeft. Volgens de uitgever is het doel om op één plek antwoord te geven op de vraag: « welke GPU heb ik nodig, en waar is hij het goedkoopst? »
- Marktechpost lanceert GPU Leaderboard, een gratis vergelijker van cloudprijzen voor AI-inferentie.
- De Chrome-extensie Deploy It toont dezelfde gegevens op Hugging Face en GitHub.
- De calculator berekent de kosten van een volledige run, en de goedkoopste optie kost $967,68.
- De site volgt 201 GPU-aanbiedingen van 24 leveranciers en actualiseert die dagelijks.
Het dashboard rangschikt de in de cloud te huren GPU’s op prijs per GPU-uur. De gegevens worden gelezen van de prijspagina’s van elke aanbieder, zowel voor de on-demand tarieven als voor de spot-tarieven, dat wil zeggen de capaciteit die tegen gereduceerd tarief wordt verkocht en onderhevig is aan onderbreking. Versie 1 bevat vier weergaven. De eerste, « Inference pricing », is een kostencalculator voor een volledige uitvoering en niet voor een simpel uurtarief. De tweede, « Leaderboard », toont alle aanbiedingen gerangschikt in dollars per GPU-uur, filterbaar op GPU, reeks, regio en beschikbaarheid. De derde, « Cheapest Inference », geeft de laagste on-demand bodemprijs voor elke gevolgde GPU aan. De vierde is een directory van aanbieders, met het aantal instances, de regio’s, de gemelde incidenten op de statuspagina’s en de prijscontrolegeschiedenis.
Een calculator voor de kosten van een volledige run
De gebruiker kiest een accelerator, een aantal GPU’s, een duur en een gebruikspercentage. De calculator berekent vervolgens deze specifieke uitvoering bij elke aanbieder, en een optioneel veld voor het model maakt het mogelijk de lijst te verfijnen. Het standaardvoorbeeld is dat van 8 H100 gedurende 72 uur met 90% gebruik, oftewel 576 GPU-uren. Het goedkoopste resultaat is $967,68 bij Latitude, tegen $1,68 per GPU-uur. De mediaan over 15 aanbieders bedraagt $1.716,48, en het duurste aanbod is dat van CoreWeave, tegen $3.545,28.
De calculator toont ook een « werkelijke » kostprijs per daadwerkelijk gebruikt GPU-uur. De inactiviteitstijd wordt nog steeds gefactureerd: volgens het artikel worden de $1,68 per GPU-uur zo $1,87 bij 90% gebruik. Dit is, volgens de site, het cijfer dat in budgetoverzichten het vaakst wordt weggelaten.
Een extensie om je model te kiezen
De extensie Deploy It heeft tot doel deze gegevens dichter bij de plekken te brengen waar ontwikkelaars hun modellen kiezen. Volgens zijn pagina in de Chrome Web Store werkt het op drie plaatsen. Op de modelpagina’s van Hugging Face detecteert het de grootte van het model en schat het het benodigde videogeheugen, VRAM genaamd, in de formaten FP16, INT8 en INT4, numerieke precisieformaten die het vereiste geheugen verminderen. Het toont vervolgens de goedkoopste GPU’s per uur die het model kunnen huisvesten. In GitHub-repositories herkent het verwijzingen naar modellen en geeft het een hardware-inschatting rechtstreeks op de pagina. Ten slotte maakt een zoekopdracht vanuit de werkbalk van de browser het mogelijk om elk model of elke GPU te bevragen.
De site inventariseert 201 online GPU-aanbiedingen, aangeboden door 24 leveranciers. Volgens het artikel vormen de dekking en de dagelijkse actualisering van de gegevens de belangrijkste verschillen met oudere trackingtools.
