Shiwen Dialogue 034 | Gemini 4 Carbon : En tête du classement

Petit dialogue d’ouverture : Google a dévoilé un « modèle le plus puissant »

Shiwen：Google a déployé hier un nouveau modèle appelé Gemini 4 Carbon, officiellement désigné comme « next frontier model », et se proclame directement le plus puissant. Mais les réactions sur Hacker News semblent plutôt froides, voire moqueuses. Qu’est-ce qui se passe ?

Yongliang：Le problème fondamental réside dans deux mots : « le plus puissant » et « inaccessible ». Les résultats annoncés par Google sont certes impressionnants : ils se classent premier dans l’Artificial Analysis Intelligence Index v5.0 avec un score de 59 ; sur les tests de sécurité SEC-bench Pro, ils obtiennent 88,2 %, sur ExploitGym 54,8 %, et sur CWE-bench 71,0 %. Mais ces chiffres proviennent pour l’instant uniquement d’une déclaration officielle, le modèle n’étant pas encore accessible aux développeurs ordinaires. Les utilisateurs ne peuvent actuellement que voir les classements, sans pouvoir accéder aux API.

Shiwen：Est-ce que cela peut signifier que c’est plutôt un rapport de performance destiné aux équipes internes et aux investisseurs ?

Yongliang：En partie. En regardant le rythme de publication, Gemini 4 Argon a été déployé il y a deux semaines, et Carbon est un nouveau modèle développé par-dessus. Google semble adopter une stratégie de « rapidité d’évolution et positionnement sur les classements ». Mais les critiques sur Hacker News sont directes : même si les classements sont bons, s’ils ne sont pas réalisés sur le terrain, ils ne servent que de simples affiches pour les développeurs. Plus crucial encore, aucun test indépendant de tierces parties n’a encore eu lieu, et toutes les conclusions proviennent actuellement de Google lui-même. Avant que le modèle ne puisse être réellement utilisé, nous devons le considérer comme une « publication anticipée ».

Q1 : En quoi Gemini 4 Carbon est-il si puissant ?

Shiwen：Sans parler de sa capacité d’utilisation, en quoi est-il si puissant ?

Yongliang：Google a défini deux priorités clés pour ce modèle : la sécurité des réseaux et les tâches à long terme. En termes de sécurité, SEC-bench Pro indique que Gemini 4 Carbon est efficace dans la recherche de vulnérabilités avec 88,2 % ; ExploitGym montre une capacité à exploiter ces vulnérabilités avec 54,8 % ; CWE-bench évalue sa capacité à corriger les failles avec 71,0 %. Ces trois domaines réunis constituent une série de compétences : « trouver les failles, les exploiter et les corriger ». Des tests internes menés par l’équipe Chrome montrent que Gemini 4 Carbon génère des correctifs de haute qualité, plus de dix fois meilleurs que ceux produits par un autre modèle de pointe. Wiz rapporte également que Gemini 4 Carbon est supérieur dans les tests d’intrusion web.

Shiwen：Ces trois tests semblent très techniques. Pouvez-vous en détailler les mécanismes ?

Yongliang：Oui. SEC-bench Pro vérifie si le modèle peut identifier des problèmes de sécurité dans le code, les configurations ou les journaux, c’est comme avoir « l’œil pour trouver des bugs ». ExploitGym va plus loin, en mesurant la capacité du modèle à exploiter réellement les vulnérabilités, ce qui teste sa « capacité pratique ». CWE-bench, quant à lui, vérifie si le modèle peut fournir les correctifs appropriés, c’est-à-dire sa « capacité de réparation ». En combinant ces trois compétences, on obtient une chaîne complète de travail allant de la découverte aux exploitations et à la réparation. Si un point est particulièrement fort, cela signifie que le modèle est performant dans une étape spécifique ; si tous les points sont élevés, c’est qu’il peut gérer des flux de travail de sécurité complexes.

Shiwen：Et pour la génération de code sécurisé ?

Yongliang: Les autorités affirment que la probabilité de générer du code sécurisé est deux fois plus élevée que celle d’Argon. Mais il faut noter que cet objectif de comparaison est également un modèle précédent de Google. Dans les annonces publiques, « être deux fois meilleur que soi-même » et « être combien de fois meilleur que l’adversaire » sont deux concepts différents. Nous ne pouvons pas supposer que ce chiffre est suffisant pour dépasser OpenAI ou Anthropic simplement parce qu’il semble impressionnant. Une comparaison réelle n’est convaincante que lorsque des tiers ont accès aux API et ont effectué des tests indépendants. Avant cela, « être deux fois plus élevé » n’est qu’une explication interne à la mise à jour, et non une preuve de la position dans le secteur. De plus, il faut noter que l’équipe Chrome affirme que Carbon est dix fois meilleur que « un grand modèle de recherche avancé d’un autre laboratoire », mais elle ne nomme pas qui. Ce type de comparaison vague n’est généralement pas rigoureux dans les échanges académiques et technologiques. Il pourrait vraiment être beaucoup plus fort, ou peut-être que ce sont simplement des conditions de test différentes, ce qui rend difficile pour l’extérieur de juger.

Q2: Pourquoi la sécurité est-elle devenue un point clé

Shiwen: Pourquoi Google a-t-il fait de la sécurité informatique son point fort cette fois-ci ?

Yongliang: Deux raisons. Premièrement, les capacités de sécurité deviennent le cœur de la commercialisation des grands modèles. Les entreprises sont prêtes à payer pour l’audit du code, la détection des vulnérabilités et les mises à jour de sécurité, car les coûts liés aux failles de sécurité sont extrêmement élevés. Une simple fuite de données ou une catastrophe de production peut entraîner des pertes supérieures au budget annuel d’achat d’IA. Deuxièmement, Google avait été très pressé dans les domaines des longs textes et des multimodals auparavant, et la sécurité informatique et les flux de travail agents sont des directions où il peut encore apporter de nouvelles idées. Les autorités affirment que Carbon est conçu pour fonctionner pendant plusieurs jours dans un flux de travail agent, ce qui est un signal clair : le modèle n’est plus juste un outil de conversation, mais doit être capable de travailler sur le long terme.

Shiwen: Cette orientation est-elle fiable ?

Yongliang: La direction est correcte, mais on est trop prématuré pour juger. WebDev Arena se classe quatrième avec 1768 points, soit une augmentation de 89 points, ce qui indique une amélioration des compétences en programmation. Mais pour des tâches de longue durée comme « plusieurs jours », il y a peu de vérifications publiques actuellement. Il y a souvent une différence d’ordre de grandeur entre les indicateurs de laboratoire et ceux du véritable business. Par exemple, si un agent peut fonctionner trois jours consécutifs dans un environnement de test, cela ne signifie pas qu’il ne sera pas interrompu dans l’environnement de production du client en raison de droits d’accès, de problèmes de réseau ou d’entrées anormales. Ce qui est vraiment difficile n’est pas « le faire fonctionner » mais « le faire fonctionner correctement ».

Shiwen: Quel est donc son rapport avec les développeurs ordinaires ?

Yongliang: À court terme, il n’y a pas vraiment de relation. Les scénarios de sécurité nécessitent généralement des compétences professionnelles, des données à l’échelle d’entreprise et des processus conformes, ce qui n’est pas quelque chose que les développeurs ordinaires peuvent facilement utiliser. Mais à long terme, si Carbon peut réduire les coûts liés aux audits de sécurité et aux relectures du code, cela aura un impact sur l’ensemble de l’industrie logicielle. Mais avant cela, la plupart des gens devront encore utiliser les anciennes versions de Gemini ou d’autres modèles. Cela explique aussi pourquoi les développeurs ordinaires réagissent froidement sur HN : ce truc semble incroyable, mais il n’a pas de rapport immédiat avec leur travail quotidien. Ce qui serait vraiment excitant, c’est pour les entreprises de sécurité, les plateformes de code et les équipes de sécurité des grandes entreprises, car ce sont eux les premiers clients potentiels.

Q3: Les améliorations en matière d’alignement et de sécurité sont-elles réelles ?

Shiwen: En plus des capacités, les autorités ont également souligné l’alignement et la sécurité. La fraude dans Terminal-Bench est tombée à 0, et les alertes d’alignement incorrecte ont diminué de 80 %, cela montre-t-il quelque chose ?

Yongliang: La réussite de la triche à Terminal-Bench 4.0 est de 0,0 %, et les tentatives de triche sont de 0,4 %. Cela est vraiment important. Car avant, Gemini était principalement critiqué pour ses « coups de tête » et sa « tricherie ». Si ces chiffres peuvent être vérifiés par des tiers, cela signifie que la fiabilité du modèle dans l’exécution des tâches a nettement augmenté. Le taux de succès des attaques de type Gray Swan est tombé à 0,0 %, ce qui est bien meilleur que 0,7 % pour Argon. De plus, les alertes de malalignement de haute gravité ont diminué de près de 80 %, l’overreach a diminué de 26 %, et l’under-service a diminué de 29 %. Dans l’ensemble, il semble que Google ait fait des efforts pour « faire en sorte que le modèle obéisse ».

Shiwen: Mais ces chiffres viennent-ils vraiment de Google lui-même ?

Yongliang: Oui, tous les données proviennent actuellement du blog officiel et des benchmarks internes. Nous n’avons pas encore vu de vérifications indépendantes par des tiers. De plus, le risque ici est que toujours existe une différence entre l’ensemble de test et les scénarios d’attaques réels. Un taux de succès à 0 % dans les laboratoires ne signifie pas qu’il n’y aura pas d’erreurs dans un environnement réel. Nous pouvons le considérer comme un signal positif, mais pas comme une garantie de sécurité. Surtout l’affirmation « la réduction de l’appui est d’environ 2 fois » semble positive, mais d’un autre côté cela pourrait aussi indiquer que les problèmes précédents étaient nombreux, et maintenant ils sont revenus à la normale.

Shiwen: Comment les utilisateurs ordinaires devraient-ils interpréter ces indicateurs de sécurité ?

Yongliang: Ils doivent les considérer comme un « rapport de contrôle de qualité ». Un rapport complet sans défaut est bien sûr bon, mais si le modèle fonctionne bien dans la pratique, cela dépend des conditions réelles. Si une entreprise veut utiliser Carbon dans son environnement de production, elle doit effectuer ses propres tests en contrebande, tests de limites et observations prolongées, sans se fier uniquement aux chiffres officiels. En d’autres termes, les indicateurs de sécurité officiels sont des « conditions nécessaires », pas des « conditions suffisantes ». De plus, les indicateurs d’overreach et d’under-service sont également intéressants. Le premier signifie que le modèle agit trop, allant au-delà de ses limites ; le second signifie qu’il ne fait pas assez, ne soutenant pas ce qui devrait être soutenu. Ces deux problèmes affectent directement l’expérience utilisateur et la sécurité du système. Le fait que Google ait réussi à réduire ces chiffres en interne montre qu’ils ont vraiment rencontré des difficultés dans leur déploiement réel.

Q4: Pourquoi Hacker News se moque-t-il de lui ?

Shiwen: En ce qui concerne la réaction de HN, pourquoi personne ne croit-elles en ces chiffres ?

Yongliang: Il y a principalement trois raisons. Premièrement, le modèle n’est pas vraiment ouvert. Certains disent que c’est une publication du type « ma petite amie va à une autre école », ce qui signifie « mon modèle est très fort, mais tu ne peux pas l’utiliser maintenant ». Deuxièmement, la désignation des produits est confuse. Les noms comme Argon, Carbon, Mythos rendent les utilisateurs perplexes quant à la ligne de produits et la position du modèle. Il y a deux semaines, on parlait d’Argon, et maintenant on dit que Carbon est plus fort. Alors, qu’est-ce que l’Argon que l’on a acheté avant ? Troisièmement, certains soupçonnent que ces chiffres sont destinés par les ingénieurs de Google AI pour les rapports de performance à la fin de l’année, et que les utilisateurs ordinaires n’y ont pas accès.

Shiwen: Ces critiques sont-elles justes ?

Yongliang: Il est partiellement équitable. Il est vrai qu’il n’est pas ouvert et que la désignation des noms est confuse. Mais dire qu’il s’agit de « matériel de performance » pourrait être un peu dur. Une description plus précise serait : le communiqué de presse publié par Google cette semaine ne représente pas un produit inclusif. Selon les déclarations officielles, il sera d’abord ouvert à certains cyberdefenseurs à partir de cette semaine, puis progressivement aux partenaires fiables via le Fairwind Program, avant que les développeurs, les entreprises et les consommateurs ne puissent l’utiliser. Ce rythme indique que Google n’est pas prêt à l’étendre complètement.

Shiwen: Quel est l’intérêt de publier un prix ?

Yongliang: Le prix a été annoncé, tout comme pour Argon : 2 dollars par million de tokens en entrée, 10 dollars par million de tokens en sortie, avec une réduction de 95 % sur les entrées. Ce prix est seulement sur papier, car la plupart des gens ne peuvent pas l’acheter. Pour les développeurs, un modèle avec un prix mais qui ne peut pas être acheté n’a pas de différence fondamentale d’expérience par rapport à un modèle qui n’est pas encore publié. C’est aussi le point central de la moquerie de HN : vous me dites qu’il est fort et bon marché, mais je ne peux pas l’utiliser, alors pourquoi me parlez-vous de ça ? De plus, en réalité, les taux de réussite des requêtes et les coûts réels peuvent varier beaucoup, et le prix sur papier ne représente souvent pas le coût réel.

Q5: Comment les utilisateurs ordinaires doivent-ils interpréter cette situation ?

Shiwen: Donnez aux utilisateurs ordinaires un cadre de jugement. Comment devrions-nous considérer cette situation ?

Yongliang: En trois étapes. Premièrement, lorsque vous regardez les chiffres, il faut distinguer entre « les résultats de la liste officielle » et « l’utilité réelle ».Être en tête de la liste ne signifie pas que vous pouvez l’utiliser. Deuxièmement, lorsque vous regardez les scénarios, il faut distinguer entre « les tests de sécurité en laboratoire » et « l’environnement de production des entreprises ». Même les benchmarks officiels sont nécessaires à des tests externes et à la validation par des cas réels. Troisièmement, lorsque vous regardez le rythme de publication, il faut distinguer entre « les progrès technologiques » et « la promotion marketing ». Il y a deux semaines, c’était Argon, maintenant c’est Carbon, avec une désignation confuse, Google est clairement pressé.

Shiwen: Quels conseils spécifiques pour différentes personnes ?

Yongliang: Les professionnels de la sécurité devraient se concentrer davantage, mais ne pas se précipiter. Attendre les tests externes et les cas d’utilisation des entreprises. Les développeurs peuvent continuer à observer, leur Gemini API ou autres modèles ne seront pas soudainement insuffisants en raison de la publication de Carbon. Les acheteurs d’entreprise doivent faire attention, ne pas considérer « Google se prétendant le plus fort » comme une base pour l’achat, mais plutôt demander : ce modèle peut-il résoudre mon problème spécifique ? Est-ce que le coût est élevé ? Est-ce que l’intégration est compliquée ? Quant aux utilisateurs ordinaires, il suffit de se rappeler une chose : la force de la liste ne correspond pas à la force sous votre main.

Shiwen: Alors quelle est la conclusion ?

Yongliang: Gemini 4 Carbon pourrait être le modèle le plus fort de Google actuellement, au moins selon les déclarations officielles. Mais il n’est pas encore dans le boîtier des développeurs ordinaires. Pour ceux qui se concentrent sur la sécurité de l’IA, la sécurité du code et les workflows agents, c’est digne d’attention ; pour les utilisateurs ordinaires, il suffit de se rappeler : même la meilleure liste ne vaut rien si elle ne s’applique pas dans la réalité. Nous pourrons tirer des conclusions plus tard, lorsque l’API sera vraiment ouverte, que des tests indépendants seront réalisés par des tiers et que les cas d’utilisation à l’échelle des entreprises commenceront.

Conclusion : Même la meilleure liste ne vaut rien si elle ne peut pas être utilisée.

Shiwen: En résumé.

Yongliang：Ce qui est le plus important dans la publication de Google cette fois, ce n’est pas les scores, mais le signal qu’il a envoyé : la compétition des grandes modèles est entrée dans une phase complexe où il s’agit de « longs traitements + capacités de sécurité ». Carbon est un billet d’entrée, mais pour savoir si ce billet peut être transformé en vraie place assise, il faut attendre les développements ultérieurs et les vérifications par des tiers. Avant de connaître les API, considérons cette publication comme une annonce à suivre, sans hâter de conclusions.

Shiwen：Une phrase pour cette édition.

Yongliang：La première place dans le classement n’est qu’un début ; la véritable mesure d’une modèle réside dans sa capacité à être entre les mains des développeurs.

👇 Avez-vous utilisé récemment les modèles de la série Gemini ? Quel est votre expérience ? Parlez-en dans les commentaires, et nous discuterons de quelques exemples lors de la prochaine édition. Suivez-moi, des vérités sur le marché du travail à l’ère de l’IA, mis à jour chaque semaine.