La société webAI a publié TwIL-8B, un modèle de raisonnement de 8,79 milliards de paramètres destiné aux mathématiques, au code et au suivi d’instructions. Dérivé de Granite 4.2 8B, le modèle d’IBM, il est disponible sur Hugging Face sous une licence non commerciale. Selon webAI, l’argument principal du lancement porte sur le coût par tâche plutôt que sur la taille brute du modèle.
- webAI publie TwIL-8B, un modèle de raisonnement dérivé de Granite 4.2 8B, sous licence non commerciale.
- Le modèle excelle en mathématiques avec 98,2 sur MATH-500, mais il recule sur les connaissances.
- Il utilise moins de tokens que Qwen3.5-9B, avec un score inférieur de 4,2 points sur AIME 2026.
- Les scores sont auto-déclarés, et la version 4 bits allégée perdra légèrement en performances.
TwIL-8B est un modèle dit « dense », dont tous les paramètres sont sollicités à chaque calcul, et qui ne traite que du texte en anglais, en entrée comme en sortie. Il comporte 40 couches, une taille cachée de 4096 et 32 têtes d’attention, dont 8 têtes KV. Avant chaque réponse, il rédige un bloc de raisonnement signalé par la balise . Sa fenêtre de contexte atteint 131 072 tokens, une capacité héritée du modèle de base.
Le modèle existe en deux variantes à architecture et tokenizer identiques. La variante Balanced, par défaut, produit des raisonnements plus courts. La variante Verbose raisonne plus longuement et vise les problèmes difficiles de type concours.
Selon webAI, l’entraînement s’est déroulé en trois étapes : un fine-tuning complet sur des traces de raisonnement en mathématiques, STEM et suivi d’instructions, puis deux phases d’apprentissage par renforcement, GRPO/DAPO d’un côté, qui donne la variante Verbose, et un apprentissage par renforcement tenant compte de la longueur de l’autre, qui donne la variante Balanced. Les jeux d’entraînement ont été décontaminés par une recherche de correspondances sur des séquences de 13 mots face à AIME, HMMT, MATH-500, GPQA et d’autres évaluations.
Des résultats contrastés selon les domaines
Toujours selon webAI, qui précise que l’ensemble de ses scores sont auto-déclarés, TwIL-8B obtient 98,2 sur MATH-500, le score le plus élevé de la comparaison publiée par l’entreprise. Sur LiveCodeBench, la variante Verbose atteint 81,6, contre 65,6 pour Qwen3.5-9B et 80,0 pour Gemma 4 31B. webAI indique que la version de LiveCodeBench utilisée pour son propre score n’a pas été renseignée, les scores des concurrents correspondant à la version 6.
En suivi d’instructions, IFBench atteint 74,4 pour la variante Verbose, contre 64,5 pour Qwen3.5-9B. Sur IFEval, les deux modèles sont à égalité, avec 91,8 pour TwIL-8B et 91,5 pour Qwen3.5-9B. Le point faible concerne les connaissances : sur GPQA Diamond, TwIL-8B obtient 70,2, soit 11,5 points de moins que Qwen3.5-9B à 81,7, tandis que Gemma 4 31B affiche 84,3. Sur MMLU-Pro, la variante Verbose atteint 76,5, contre 82,5 pour Qwen3.5-9B. Sur les 13 benchmarks communs avec Qwen3.5-9B, TwIL-8B remporte 7 victoires et en subit 6. Face à Gemma 4 31B, dont la taille est environ 3,5 fois supérieure, le bilan est de 3 victoires pour 11 défaites.
Sur AIME 2026, TwIL-8B obtient 88,3, contre 92,5 pour Qwen3.5-9B et 89,2 pour Gemma 4 31B. Le modèle utilise en moyenne environ 19,5k tokens en sortie par problème, contre 31,2k pour Qwen3.5-9B, soit 38 % de moins, pour un score inférieur de 4,2 points. Sur HMMT Feb 2026, l’écart est de 32,9k contre 40,6k tokens, soit 19 % de moins. webAI cite par ailleurs environ 5k tokens par problème AIME 2026 pour GPT-5.5, tout en précisant que les environnements de test et les tokenizers diffèrent, et que ces chiffres ne doivent être lus qu’à titre indicatif.
Format local et usage
La version 4 bits la plus légère, au format GGUF Q4_K_M, pèse 4,98 GiB et s’adresse à une exécution sur processeur ou sur carte graphique à mémoire modeste. La version bf16 complète occupe 16,38 GiB. Selon la fiche du modèle, l’exécution avec llama.cpp est possible dans plusieurs formats, dont Q8_0 à 8,70 GiB et F16 à 16,38 GiB pour la seule variante Verbose. webAI recommande un budget de génération important, l’exemple de la fiche utilisant max_new_tokens=32768, et prévient qu’un budget réduit tronque le raisonnement et dégrade nettement les scores. Les résultats publiés ont été obtenus en bf16, si bien que des baisses légères sont attendues en Q4_K_M. Aucun fournisseur d’inférence hébergé ne propose encore le modèle sur Hugging Face.
