Google a présenté mercredi 28 octobre Gemini 4 Carbon, son nouveau modèle phare, deux semaines après l’ouverture publique d’Argon. Il se présente comme n°1 d’un indice de référence, mais d’un seul point, et vise surtout la cybersécurité et les tâches qui durent des jours. Pour l’instant, seuls quelques défenseurs cyber y ont accès.
- Google présente Gemini 4 Carbon, qui devance Claude Opus 5.5 d’un seul point.
- Le modèle vise surtout la cybersécurité, avec 88,2 % sur SEC-bench Pro.
- Seuls quelques défenseurs cyber y ont accès pour l’instant.
- Les scores viennent de Google, et les conditions de test ne sont pas identiques.
Un score de 88,2 % sur SEC-bench Pro, un test de détection de failles : Google place ce chiffre en avant dans l’annonce de Gemini 4 Carbon, signée Koray Kavukcuoglu, vice-président senior de Google DeepMind et architecte en chef de l’IA chez Google. Le modèle arrive deux semaines après l’ouverture publique d’Argon, le 13 octobre. Google explique ce rythme par un travail où les chercheurs et les modèles font avancer les capacités ensemble, et plus vite.
Sundar Pichai a lui-même relayé l’annonce sur X : il y rappelle que Google avait prévenu qu’il sortirait ses modèles à intervalles réguliers, et reprend les trois scores de cybersécurité.
Carbon n’est pourtant pas ouvert à tout le monde. Cette semaine, Google le met à disposition d’un petit groupe de défenseurs cyber, puis élargira l’accès à d’autres partenaires de confiance via le programme Fairwind, lancé le 2 septembre. Les règles publiées pour Argon limitent l’accès aux équipes internes de cybersécurité, de réponse à incident et de tests d’intrusion des organisations admises. Il comptait plus de 650 partenaires à son lancement. Les développeurs, les entreprises et le grand public viendront ensuite, dès que possible, sans date annoncée. Google dit par ailleurs participer au processus volontaire de tests préalables du gouvernement américain.
Gemini 4 Carbon devance Opus 5.5 d’un seul point sur Artificial Analysis
Google met en avant la première place de Carbon sur l’Intelligence Index d’Artificial Analysis, et la page du site la confirme : version 5.0, 59 points, n°1 sur 52 modèles. Dans le tableau qui accompagne l’annonce, Claude Opus 5.5 est à 58 et GPT-6 Astra à 57, tandis qu’Argon plafonne à 50 ; on retrouve ces trois scores dans le classement du site. L’écart est du même ordre sur le Vals Index v2.2, où Carbon obtient 70,4 % contre 70,2 % pour Opus 5.5. Vals AI, qui publie ce classement, place de son côté Carbon deuxième sur 29 modèles, avec 70,36 %.
Source : Google
| Test | Carbon | Argon | GPT-6 Astra | Claude Opus 5.5 |
|---|---|---|---|---|
| AA Index v5.0 | 59 | 50 | 57 | 58 |
| Vals Index v2.2 | 70,4 % | 69,2 % | 65,0 % | 70,2 % |
| SEC-bench Pro | 88,2 % | 83,4 % | 85,4 % | – |
| ExploitGym | 54,8 % | 42,0 % | 42,4 % | 34,5 % |
| CWE-bench | 71,0 % | 68,0 % | 68,0 % | 67,0 % |
| OSWorld-2.1 (hors ligne) | 81,5 % | 74,7 % | 80,9 % | 87,2 % |
| FrontierSWE 2 | 61,2 % | 55,0 % | 65,5 % | 62,3 % |
Source : Google
Ce même tableau montre pourtant que Carbon n’est pas premier partout : Claude Opus 5.5 garde l’avantage sur OSWorld-2.1, un test d’utilisation d’ordinateur (87,2 % contre 81,5 %), et GPT-6 Astra sur FrontierSWE 2, un test de programmation (65,5 % contre 61,2 %).
Gemini 4 Carbon à 88,2 % en cybersécurité, mais avec des tests inégaux
Pour la cybersécurité, Google met en avant trois tests externes, passés sans garde-fous : 88,2 % sur SEC-bench Pro pour trouver des failles, 54,8 % sur ExploitGym pour les exploiter, 71,0 % sur CWE-bench pour les corriger. Sur SEC-bench Pro, GPT-6 Astra suit à 85,4 % et Argon à 83,4 %. Sur ExploitGym, en revanche, l’écart est plus net : GPT-6 Astra est à 42,4 % et Claude Opus 5.5 à 34,5 %.
Ces scores viennent de Google, et les conditions de test ne sont pas les mêmes pour tous les modèles. Le 54,8 % de Carbon correspond à un plafond de 10 heures par tâche. Avec 6 heures, il tombe à 53,5 %, ce qui le laisse devant GPT-6 Astra, testé sans plafond de temps, et devant Opus 5.5, limité à 6 heures. Sur CWE-bench, les modèles ne passent pas non plus par le même outil de programmation : Antigravity pour Carbon, Codex pour GPT-6 Astra, Claude Code pour Opus 5.5. Et l’avance sur Argon, elle, tient en 3 points (71,0 % contre 68,0 %).
Google cite aussi l’équipe Chrome, qui a rapporté que Carbon avait fait plus de 10 fois mieux qu’un grand modèle d’un autre laboratoire, non nommé, pour produire des correctifs de qualité, et Wiz, qui observe Carbon en tête sur des benchmarks de test d’intrusion web.
Gemini 4 Carbon : des tâches de plusieurs jours et moins de triche, selon Google
Carbon est conçu pour les problèmes d’ingénierie longs : en interne, les équipes de Google l’ont vu travailler pendant des jours pour trouver la cause de bugs subtils et les corriger dans de grosses bases de code. L’entreprise insiste aussi sur l’alignement. Sur Terminal-Bench 4.0, la triche réussie tombe à 0,0 % et les tentatives à 0,4 %. Les alertes de désalignement graves baissent de près de 80 % dans ses environnements de code internes, et les affirmations non étayées sont environ 2 fois moins nombreuses qu’avec Argon. Sur le test d’injection de prompt de Gray Swan, aucune attaque n’a réussi (0 %, contre 0,7 % pour Argon et 1,0 % pour Opus 5.5). Ces mesures sont publiées par Google et en grande partie internes : seuls des tests menés hors de ses équipes diront si elles se confirment.
Prix de Gemini 4 Carbon : 2 $ et 10 $ au lancement, puis 4 $ et 20 $
Carbon est facturé 2 $ par million de tokens en entrée et 10 $ en sortie pendant la période de lancement, comme Argon, avec une remise de 95 % sur les tokens d’entrée mis en cache. Ensuite, le tarif passera à 4 $ et 20 $, d’après la note de bas de page de l’annonce. Google ne donne pas la date de fin de cette offre pour Carbon.
Ces scores tiendront-ils quand Carbon quittera le cercle des défenseurs triés pour arriver chez les développeurs, à une date que Google n’a pas fixée ?
