Marktechpost ha lanciato GPU Leaderboard, un comparatore gratuito dei prezzi di noleggio di processori grafici (GPU) nel cloud, destinato all’inferenza dei modelli di IA, cioè alla loro esecuzione una volta addestrati. Il sito è accompagnato da un’estensione per Chrome, GPU Leaderboard: Deploy It, che riprende gli stessi dati. Secondo l’editore, l’obiettivo è rispondere in un unico luogo alla domanda: « quale GPU mi serve, e dove è più economica? »
La dashboard classifica le GPU noleggiabili nel cloud per prezzo per ora-GPU. I dati sono letti dalle pagine dei prezzi di ogni fornitore, per le tariffe on-demand come per quelle spot, cioè le capacità vendute a prezzo ridotto e soggette a interruzione. La versione 1 comprende quattro viste. La prima, « Inference pricing », è un calcolatore di costo per un’esecuzione completa e non per una semplice tariffa oraria. La seconda, « Leaderboard », presenta tutte le offerte classificate in dollari per ora-GPU, filtrabili per GPU, gamma, regione e disponibilità. La terza, « Cheapest Inference », indica il minimo on-demand più basso per ogni GPU monitorata. La quarta è un elenco dei fornitori, con il numero di istanze, le regioni, gli incidenti segnalati sulle pagine di stato e lo storico dei controlli dei prezzi.
Un calcolatore per il costo di un’esecuzione completa
L’utente sceglie un acceleratore, un numero di GPU, una durata e un tasso di utilizzo. Il calcolatore quantifica quindi questa esecuzione precisa presso ogni fornitore, e un campo opzionale per il modello permette di ridurre la lista. L’esempio proposto di default è quello di 8 H100 per 72 ore al 90% di utilizzo, ovvero 576 ore-GPU. Il risultato meno costoso è di $967.68 presso Latitude, a $1.68 per ora-GPU. La mediana su 15 fornitori si attesta a $1,716.48, e l’offra più costosa è quella di CoreWeave, a $3,545.28.
Il calcolatore mostra anche un costo « reale » per ora-GPU effettivamente utilizzata. Il tempo di inattività rimane fatturato: secondo l’articolo, i $1.68 per ora-GPU diventano così $1.87 al 90% di utilizzo. Si tratta, secondo il sito, della cifra che i budget spesso omettono.
Un’estensione per scegliere il proprio modello
L’estensione Deploy It mira ad avvicinare questi dati ai luoghi dove gli sviluppatori scelgono i loro modelli. Secondo la sua scheda sul Chrome Web Store, funziona in tre punti. Sulle pagine dei modelli di Hugging Face, rileva la dimensione del modello e stima la memoria video necessaria, chiamata VRAM, nei formati FP16, INT8 e INT4, formati di precisione numerica che riducono la memoria richiesta. Mostra poi le GPU orarie più economiche in grado di ospitare il modello. Sui repository GitHub, individua i riferimenti ai modelli e fornisce una stima hardware direttamente nella pagina. Infine, una ricerca dalla barra degli strumenti del browser permette di interrogare qualsiasi modello o GPU.
Il sito censisce 201 offerte di GPU online, proposte da 24 fornitori. Secondo l’articolo, la copertura e l’aggiornamento quotidiano dei dati costituiscono le principali differenze rispetto a strumenti di monitoraggio più vecchi.
