Un modèle d’IA tiendra-t-il sur votre carte graphique ? Ce calculateur estime la mémoire nécessaire pour faire tourner un modèle en local et indique, machine par machine, s’il tient et à quelle vitesse il générera du texte.
- Le calculateur estime si un modèle d’IA tient dans la mémoire de votre carte graphique.
- Il indique aussi la vitesse de génération de texte pour chaque machine.
- La quantification réduit la mémoire des poids, tandis que le contexte et les requêtes parallèles alourdissent le cache KV.
- Si la mémoire GPU ne suffit pas, le modèle déborde sur la RAM et ralentit nettement.
Comment l’utiliser
- Saisissez la taille du modèle en milliards de paramètres ; pour un modèle MoE, ajoutez aussi les paramètres actifs.
- Choisissez la quantification, la taille de contexte, le type de cache KV et le nombre de requêtes en parallèle.
- Indiquez le nombre de GPU identiques, la RAM système et sa bande passante.
- Consultez le tableau : chaque machine est classée « tient en mémoire », « déborde sur la RAM » ou « ne tient pas ».
Les principes derrière le calcul
- Les poids occupent paramètres × bits par poids ÷ 8 : la quantification réduit directement ce poste.
- Le cache KV grandit avec le contexte et le nombre de requêtes simultanées : 2 × couches × têtes KV × dimension de tête × octets par valeur × contexte × parallélisme. L’outil utilise une architecture typique selon la taille du modèle.
- Un surcoût fixe de 0,8 Go plus 5 % du poids des modèles est ajouté pour les tampons et le runtime.
- La génération est limitée par la bande passante mémoire : vitesse ≈ 60 % de la bande passante ÷ poids actifs. Si le modèle déborde sur la RAM, le calcul combine la part en GPU et la part en RAM, nettement plus lente.
Limites à connaître
Ce sont des estimations pour une architecture typique ; les modèles à attention économe demandent moins de cache. La vitesse exclut le traitement du prompt. Les valeurs des machines sont celles des constructeurs.
