- Lo strumento elenca i modelli IA open che il tuo computer può far girare.
- Calcola la memoria occupata e stima la velocità in token al secondo.
- Le cifre sono stime, quindi il risultato reale può variare.
- Verifica le licenze prima di qualsiasi uso commerciale.
Quale modello di IA gira sul mio computer? Scegli la tua scheda grafica, il tuo Mac o inserisci la tua memoria: lo strumento elenca i modelli open che ci stanno, con la quantizzazione più precisa possibile, la memoria occupata e una velocità stimata in token al secondo. Tutto viene calcolato nel tuo browser.
Come usarlo
- Seleziona il tuo computer dalla lista, o « Altro computer » per inserire la sua memoria e la sua banda passante.
- Indica il numero di schede identiche e la tua memoria RAM di sistema: serve per spostare una parte del modello quando la scheda non basta.
- Scegli l’uso (conversazione, visione, ragionamento, contesto lungo) e il contesto desiderato.
- Leggi la tabella: i modelli che ci stanno comodamente vengono prima, poi quelli che ci stanno per il rotto della cuffia, poi quelli che richiedono di sforare sulla RAM, il che è lento.
Come viene calcolata la memoria
La memoria di un modello è la somma di tre parti: i pesi (parametri moltiplicati per i bit della quantizzazione, divisi per 8), la cache KV, che cresce con il contesto e il numero di richieste simultanee, e un sovraccarico di esecuzione. Per ogni modello, lo strumento mantiene la quantizzazione più precisa che ci sta in memoria. I parametri, il numero di layer e le teste KV provengono dalle configurazioni pubbliche dei modelli su Hugging Face, lette in una data visualizzata sotto la tabella, e non da valori ipotetici.
Per partire da un modello preciso piuttosto che dal tuo computer, usa lo strumento memoria VRAM per l’IA locale ; per sapere se il locale è conveniente, IA locale o API.
Limiti da conoscere
Queste cifre sono stime, non calibrate su misurazioni pubbliche: il software di esecuzione (llama.cpp, Ollama, LM Studio, MLX, vLLM), il driver e il formato del modello cambiano il risultato reale. La velocità è una forchetta, dal 50 al 70% della banda passante di memoria divisa per i pesi letti per ogni token. Per i modelli a esperti (MoE), la velocità dipende dai parametri attivi, che conosciamo solo quando il nome del modello li indica; altrimenti la velocità visualizzata è un minimo. Per i modelli ad attenzione ibrida o a finestra scorrevole, la cache visualizzata (indicata da « ≤ ») è un maggiorante. Solo i modelli la cui configurazione pubblica è leggibile sono elencati, e le licenze sono visualizzate come dichiarate: verificale prima di un uso commerciale. Lo strumento non misura né la qualità in francese né le prestazioni reali sul tuo computer.
Domande frequenti
Perché un modello che « ci sta » è lento?
Generare un token richiede di rileggere i pesi attivi in memoria. Se una parte del modello è spostata sulla RAM del sistema, la cui banda passante è molto più bassa di quella della scheda, la velocità crolla: lo strumento lo segnala con « Ci sta spostando sulla RAM (lento) ».
Il mio hardware non è nella lista, cosa fare?
Scegli « Altro computer » e inserisci la memoria (in GB) e la banda passante di memoria (in GB/s) indicate dal produttore.