Together AI a présenté Together Compiler (TKCC), un système piloté par des agents qui réoptimise en continu l’inférence des modèles d’IA à mesure que le trafic de production évolue. Déjà utilisé sur plusieurs de ses points d’accès serverless, il repose sur un constat : un moteur réglé une seule fois finit par devenir obsolète.
- Together AI présente Together Compiler, un système qui réoptimise en continu l’inférence des modèles d’IA.
- Le moteur ne démarre qu’une fois, et des agents y soumettent leurs candidats de passes avant.
- Selon Together AI, le système dépasse les meilleures configurations ouvertes jusqu’à 2,6 fois en TPS.
- Ces résultats sont auto-déclarés, et le système reste en bêta limitée pour les clients.
Le fonctionnement est une boucle. Together Compiler reçoit une commande de lancement du serveur, un profil de trafic et une configuration matérielle. Des agents proposent des passes avant plus rapides, c’est-à-dire le calcul qui produit la réponse du modèle, un moteur persistant mesure chacune d’elles, et le code le plus performant est intégré au moteur de service. Lorsque le trafic change, la boucle recommence.
Un trafic qui ne reste jamais stable
Selon Together AI, la longueur des prompts varie fortement selon les usages : dans un pays, ils atteignaient environ 97K tokens, contre 70K ailleurs. Chez un client, la longueur P90 des entrées, soit celle que dépassent 10 % des requêtes, est passée de 18K à 33K tokens en 3 jours. Le réglage sur des données aléatoires peut aussi fausser les résultats : ces entrées activaient de 13 à 38 % d’experts MoE supplémentaires par rapport au trafic réel. Un noyau de calcul écrit par un agent prenait 20 µs sur données aléatoires, contre jusqu’à 62 ms sur des données réelles à 70K de contexte.
Un moteur démarré une seule fois
La plupart des boucles d’agents redémarrent vLLM, SGLang ou TensorRT-LLM pour chaque expérimentation. Together AI mesure un démarrage à froid de 761 secondes pour MiniMax M3.1 Flash sur TensorRT-LLM. Dans son approche, le moteur ne démarre qu’une fois : les agents soumettent leurs candidats, le serveur remplace la fonction de passe avant et recapture les graphes CUDA. Deux niveaux de mesure coexistent, un niveau rapide de 12 couches pour le tri et un niveau lent de 60 couches pour la confirmation. Avec deux niveaux, 1 354 candidats ont été testés contre 168 avec un seul niveau lent, soit 8,1 fois plus, et la solution retenue s’est révélée 7,2 % plus rapide. Together AI indique un débit d’expérimentations des agents 252 fois supérieur à une référence qui redémarre le moteur à chaque essai.
Des résultats auto-déclarés
Ces chiffres sont publiés par Together AI elle-même. Dans le benchmark AgentX de SemiAnalysis InferenceX, Together Compiler dépasse les meilleures configurations ouvertes jusqu’à 2,6 fois en TPS, c’est-à-dire en tokens par seconde, avec moins de 24 heures par configuration et au plus 2 nœuds par modèle. À taille de lot 1, MiniMax M3.1 Flash atteint 1 111 TPS P90 par utilisateur sur B200, contre 633 pour la référence. Le cas le plus faible concerne GLM 5.3 sur MI355X, passé de 463 à 480 TPS, soit environ 4 %. Sur Llama 1B, le système dépasse de jusqu’à 1,7 fois les mégakernels de Hazy Research, Mirage et les références CUDA-graph. Pour huit modèles scientifiques, l’accélération va de 1,5 à 6,4 fois avec des sorties identiques bit à bit.
Le retour d’expérience de l’équipe contient aussi un enseignement inattendu. Une base de connaissances constituée par des experts a donné une accélération inférieure de 25 à 31 % après 12 heures, tandis que des agents auxquels il était demandé de faire tourner la passe avant « aussi vite que possible » ont dépassé les stratégies d’experts, avec des scores de 6,2 contre 4,9 après 10 essais. Together Compiler est actuellement disponible en bêta limitée pour les clients de Together AI.
