Un modello di IA starà sulla vostra scheda grafica? Questo calcolatore stima la memoria necessaria per eseguire un modello in locale e indica, macchina per macchina, se ci sta e a quale velocità genererà testo.
Come usarlo
- Inserite la dimensione del modello in miliardi di parametri; per un modello MoE, aggiungete anche i parametri attivi.
- Scegliete la quantizzazione, la dimensione del contesto, il tipo di cache KV e il numero di richieste in parallelo.
- Indicate il numero di GPU identiche, la RAM di sistema e la sua larghezza di banda.
- Consultate la tabella: ogni macchina è classificata come « sta in memoria », « trabocca sulla RAM » o « non ci sta ».
I principi dietro il calcolo
- I pesi occupano parametri × bit per peso ÷ 8: la quantizzazione riduce direttamente questa voce.
- La cache KV cresce con il contesto e il numero di richieste simultanee: 2 × strati × teste KV × dimensione della testa × byte per valore × contesto × parallelismo. Lo strumento utilizza un’architettura tipica in base alla dimensione del modello.
- Un sovraccarico fisso di 0,8 GB più il 5% del peso dei modelli viene aggiunto per i buffer e il runtime.
- La generazione è limitata dalla larghezza di banda della memoria: velocità ≈ 60% della larghezza di banda ÷ pesi attivi. Se il modello trabocca sulla RAM, il calcolo combina la parte in GPU e la parte in RAM, notevolmente più lenta.
Limiti da conoscere
Queste sono stime per un’architettura tipica; i modelli con attenzione efficiente richiedono meno cache. La velocità esclude l’elaborazione del prompt. I valori delle macchine sono quelli dei costruttori.
