Acquistare una macchina per far girare un modello in casa, affittare una GPU o pagare un’API: a partire da quale volume ogni opzione diventa la più economica? Questo strumento confronta le tre sul vostro utilizzo reale.
Come usarlo
- Inserite i vostri token di input e output al mese, in milioni, e scegliete il modello API di confronto.
- Descrivete la vostra macchina: prezzo, durata di ammortamento, potenza, prezzo dell’elettricità, velocità di generazione, eventuale consumo in standby.
- Indicate la tariffa oraria per un noleggio di GPU.
- Leggete i tre costi mensili, il tasso di occupazione della macchina e la frase di verdetto.
I principi dietro il calcolo
- Il costo API è il volume mensile moltiplicato per i prezzi del modello scelto, convertito in euro.
- Il tempo di calcolo deriva dalla velocità: output ÷ velocità di generazione, più input ÷ (velocità × multiplo di lettura del prompt).
- Il costo locale somma l’ammortamento (prezzo ÷ mesi) e l’elettricità consumata durante quel tempo di calcolo, più l’eventuale standby; il noleggio moltiplica le ore di calcolo per la tariffa oraria.
- La soglia di redditività è il prezzo dell’hardware diviso per il risparmio mensile rispetto all’API, una volta dedotta l’elettricità. L’occupazione confronta le ore di calcolo con le 720 ore di un mese.
Limiti da conoscere
Un modello locale è raramente equivalente a un modello API all’avanguardia: confrontatelo con un modello della stessa classe. Il calcolo ignora il vostro tempo, la manutenzione, la qualità del servizio, i picchi di carico, la cache e il contesto lungo.
