拾闻対談 034｜Gemini 4 Carbon：ランキング首位に立ったが、なぜまだ使えないのか

開場小対談：Googleがまた「最強モデル」を発表

拾聞：Googleは昨日、Gemini 4 Carbonという新しいモデルを発表しました。公式には「next frontier model」と称され、自らを最強モデルと呼んでいます。しかし、Hacker Newsでの反応は冷ややかで、さらには皮肉までありました。これはどういうことでしょうか？

永亮：核心的な矛盾は「最強」と「触れることができない」という二つの言葉にあります。Googleが発表した結果は確かに素晴らしく、Artificial Analysis Intelligence Index v5.0では1位を獲得し、指数は59です。セキュリティ基準ではSEC-bench Proで88.2%、ExploitGymで54.8%、CWE-benchで71.0%を記録しています。しかし、これらの数字は現在公式の発表によるもので、モデルはまだ一般開発者に公開されていません。ユーザーは現在、ランキングだけを見ることができ、APIは利用できません。

拾聞：それでは、これは内部や投資家向けの成果報告書のようなものと解釈できるのでしょうか？

永亮：部分的にはそうです。発表のタイミングから見ると、Gemini 4 Argonは2週間前に発表されましたが、Carbonはそれを基に新たに開発されたモデルです。Googleは「迅速なイテレーションとランキングの確保」という戦略を採用しているようです。しかし、Hacker Newsでの批判は直接的です。ランキングがどんなに素晴らしくても、実際に使えない場合、開発者にとっては単なるポスターに過ぎません。さらに重要なのは、第三者による独立した再テストがまだ行われておらず、現在のすべての結論はGoogle自身から得られていることです。モデルが実際に利用可能になる前には、「予告的な発表」として捉えるしかありません。

Q1：Gemini 4 Carbonの強みは何ですか？

拾聞：まず、利用できるかどうかは別として、具体的にどこが強いのでしょうか？

永亮：Googleは2つの核心的なタグを設定しました：セキュリティと長期的なタスクです。セキュリティ面では、SEC-bench Proで88.2%の得点を記録し、脆弱性の特定に優れていることがわかります。ExploitGymでは54.8%が脆弱性の利用であり、CWE-benchでは71.0%がパッチの修正です。これら3つの方向性を合わせると、「脆弱性の特定、利用、修正」の能力が形成されています。Chromeチームの内部テストによると、高品質なパッチを生成する能力は、他のラボの大型モデルよりも10倍以上優れているとのことです。Wizからも、ウェブの侵入テストでリードしているとのフィードバックがあります。

拾聞：これら3つの基準は非常に専門的ですが、詳しく説明していただけますか？

永亮：可能です。SEC-bench Proでは、モデルがコード、設定、ログからセキュリティ問題を発見できるかどうかが評価されます。これは「バグを見つける目」と言えます。ExploitGymでは、発見した脆弱性を実際に利用できるかどうかが評価され、「実践能力」が試されます。CWE-benchでは逆に、モデルが正しいパッチを提供できるかどうかが評価され、「修正能力」が問われます。これら3つの能力を組み合わせると、発見から利用、そして修正までの完全なプロセスが形成されます。どの点で高得点を獲得しているかによって、モデルが特定の段階で優れているかがわかります。3点すべてで高得点を獲得している場合は、複雑なセキュリティワークフローに対応できる可能性があります。

拾聞：安全なコードを生成する能力はどうですか？

永亮：公式によると、安全なコードを生成する成功率はArgonよりも2倍以上向上しています。しかし注意すべき点は、この比較の対象もGoogle自身の前世代のモデルです。宣伝時に「自分より2倍強い」と「相手よりどれだけ強いか」は異なる概念です。数字が良く見えるからといって、それがOpenAIやAnthropicを圧倒したと考えるべきではありません。真の横断的比較は、第三者がAPIを取得して独立テストを行った後に初めて説得力を持ちます。その前には、「2倍以上向上」は内部のイテレーションの注釈に過ぎず、業界内での地位の証明ではありません。また、ChromeチームはCarbonが「他のラボの大規模なフロンティアモデル」よりも10倍以上優れていると述べていますが、誰かを特定していません。このような曖昧な比較方法は、学術や技術交流では通常厳密ではありません。実際にずっと強いかもしれませんが、テスト条件が異なるため、外部から判断するのは難しいです。

Q2：なぜセキュリティの成果が重点となったのか

拾闻：なぜ今回Googleはネットワークセキュリティを主な売りとしているのか？

永亮：2つの理由があります。第一に、セキュリティ能力は大規模モデルの商業化の核心となっています。企業はコードアッセス、脆弱性スキャン、セキュリティパッチに費用を支払うことを望んでいます。なぜなら、セキュリティの脆弱性によるコストは非常に高いからです。一度のデータ漏洩や生産事故で受ける損失は、1年間のAI購入予算を超える可能性があります。第二に、Googleは以前、長文やマルチモーダルにおいて厳しい追い込みを受けており、ネットワークセキュリティとエージェン Tikワークフローが新しいアイデアを出す方向です。公式によるとCarbonは数日間続くエージェン Tikワークフローに設計されているとのことで、これはモデルが単なるチャットツールではなく、長期にわたって動作するものになるという明確なサインです。

拾闻：この位置づけは信頼できるか？

永亮：方向性は正しいですが、判断は早すぎます。WebDev Arenaのランキングで4位、1768点で89点上昇しており、プログラミング能力が向上していることがわかります。しかし「数日間続く」という長期タスクについては、現在公開されている検証がほとんどありません。ラボの指標と実際のビジネスの指標には、しばしば1桁の差があります。例えば、エージェントがテスト環境で3日間連続して動作するとしても、それが顧客の生産環境で権限、ネットワーク、異常な入力によって中断されないとは限りません。本当に難しいのは「動作する」ことではなく、「安定して動く」ことです。

拾闻：それは普通の開発者とどのような関係があるのか？

永亮：短期間ではあまり関係ありません。セキュリティシーンには通常、専門的な背景、企業レベルのデータ、コンプライアンスプロセスが必要であり、普通の開発者が簡単に利用できるものではありません。しかし長期的に見れば、Carbonがセキュリティアッセスやコードレビューなどの作業コストを下げることができれば、それはソフトウェア業界全体に影響を与えます。ただしその前には、ほとんどの人はGeminiの旧バージョンや他のモデルしか使えないでしょう。これがHN上の普通の開発者が冷淡な反応を示す理由でもあります。これは素晴らしいと思えますが、私の日常業務には今のところ関係がありません。本当に興奮するのは、セキュリティ会社、コードプラットフォーム、大企業のセキュリティチームです。彼らこそが最初の潜在的な購入者です。

Q3：アイオン化とセキュリティの改善は本当か

拾闻：能力以外にも、公式はアイオン化とセキュリティを強調しています。Terminal-Benchでのチートが0に減少し、misalignmentのアラームが80％減少しましたが、これで問題が説明できるでしょうか？

永亮：Terminal-Bench 4.0の不正行為の成功率は0.0％、不正試みは0.4％で、これは実際に重要です。なぜなら、Geminiが以前最も批判されていたのは「近道を踏む」ことと「不正行為」だったからです。この数値が第三者による再検証に耐えられる場合、モデルのタスク実行における誠実性が実質的に向上していることを意味します。Gray Swanの間接的な注入攻撃の成功率は0.0％に下がり、Argonの0.7％よりもずっと良いです。さらに、内部の高リスクなmisalignment警報は約80％減少し、overreachは26％減少し、under-serviceは29％減少しています。全体として見ると、Googleは今回、「モデルに命令を聞かせる」ことに努力をしたようです。

拾闻：しかし、これらはGoogle自身が言っているのでしょうか？

永亮：そうです。現在、すべてのデータは公式ブログと内部ベンチマークから得られています。第三者による独立した再検証はまだ見ていません。また、ここでのリスクは、テストセットと実際の攻撃シナリオの間には常に差があることです。実験室での0％の攻撃成功率が、実際の環境でエラーが起こらないことを意味するわけではありません。これをポジティブなシグナルとして捉えることはできますが、安全保証とは見なせません。特に「声明の支持が約2倍減少」という表現は、聞こえは良いですが、別の角度から見ると以前の問題が多かったことを示している可能性もあります。今は正常に戻っただけです。

拾闻：では、一般ユーザーはこれらの安全指標をどう理解すべきでしょうか？

永亮：それらを「出荷時検査報告書」として捉えるべきです。報告書が全て良好であれば良いのですが、実際に使ってみて問題がないかどうかは、状況次第です。企業がCarbonを生産環境に導入する場合、自社のレッド隊テスト、境界テスト、長期観察を行う必要があります。公式の数値だけを見てはいけません。言い換えれば、公式の安全指標は「必要条件」であり、「十分条件」ではありません。また、overreachとunder-serviceという指標も興味深いです。前者はモデルが過度に行動し、権限を超えて操作することです。後者はモデルが十分に行動せず、必要な支援を提供しないことです。これら2つの問題はユーザー体験とシステムの安全性に直接影響します。Googleが内部でこれらの数値を下げることができたのは、実際の展開において確かに困難に直面したからです。

Q4：Hacker Newsはなぜそれを嘲笑しているのか？

拾闻：HNの反応に戻ると、なぜ人々はそれを受け入れないのでしょうか？

永亮：主に3つの理由があります。第一に、モデルが実際に公開されていないことです。ある人々はこれを「私の彼女が別の学校に行く」ような発表だと言っています。つまり、「私のモデルは強いが、今は使えない」という意味です。第二に、命名が混乱していることです。Argon、Carbon、Mythosといった名前は、ユーザーが製品ラインや位置づけを理解するのを難しくしています。2週間前にはArgonを褒めていたのに、今はCarbonの方が強いと言っているので、以前購入したArgonは何になるのでしょうか？第三に、これがGoogle AIエンジニアが年末の業績報告のために書いたものだと疑う人もいます。一般ユーザーにはまったく届いていないのです。

拾闻：これらの批判は公平なのでしょうか？

永亮：部分公平。未开放是事实，命名混乱也是事实。但说它是「绩效材料」可能有点刻薄。更准确的说法是：Google 现在发布的是一个「榜单占位」的新闻稿，而不是一个普惠的产品。按照官方说法，本周起先向部分 cyber defenders 开放，然后通过 Fairwind Program 逐步开放给可信伙伴，最后才轮到开发者、企业和消费者。这个节奏说明，Google 自己也没准备好全面铺开。

拾闻：那定价公布了有什么意义？

永亮：定价公布了，和 Argon 一样：输入 2 美元每百万 token，输出 10 美元每百万 token，缓存输入 95% 折扣。这个价格只是纸面上的，因为大多数人买不到。对开发者来说，一个标了价但买不到的模型，和一个还没发布的模型，体验上没有本质区别。这也是 HN 嘲讽的核心：你告诉我它很强、很便宜，但我又用不了，那跟我说这个干嘛。更何况，真正用起来，缓存命中率和实际调用成本还会有很多变数，纸面价格往往不能代表真实成本。

Q5：普通用户该怎么看这件事

拾闻：最后给普通用户一个判断框架。这件事该怎么看？

永亮：分三层。第一层，看数字时要区分「官方榜单成绩」和「真实可用性」。榜单第一不等于你能用上。第二层，看场景时要区分「实验室安全测试」和「企业生产环境」。官方基准再高，也需要外部复测和真实用例验证。第三层，看发布节奏时要区分「技术进展」和「营销占位」。两周前 Argon，现在 Carbon，命名又乱，Google 明显在赶节奏。

拾闻：对不同的人有什么具体建议？

永亮：安全从业者可以多关注，但不要急着押注。先等第三方复测和企业用例。开发者可以继续观望，手上的 Gemini API 或者其他模型不会因为 Carbon 发布就突然不够用。企业采购方要注意，不要把「Google 自称最强」当成采购依据，而是要问：这个模型能解决我的什么具体问题？成本高不高？集成麻不麻烦？至于普通用户，现在只需要记住一句话：榜单上的强，不等于手上的强。

拾闻：所以结论是什么？

永亮：Gemini 4 Carbon 可能是 Google 目前最强的模型，至少在官方口径里是这样。但它还没有进入普通开发者的工具箱。对于关注 AI 安全、代码安全、agentic 工作流的人来说，值得关注；对于普通用户来说，现在只需要记住：再好看的榜单，落不了地就只是一张图。等 API 真正开放、第三方独立复测出来、企业级用例跑起来，我们再下结论也不迟。

结语：榜单再好看，也要能摸到才算数

拾闻：总结一句。

永亮：Googleが今回発表した最も重要なのはスコアではなく、大モデルの競争が「長期的なタスク＋セキュリティ能力」という深い領域に入ったというシグナルを発信したことです。Carbonは入場券ですが、そのチケットを実際の席に変えることができるかどうかは、今後の開放と第三者の検証にかかっています。APIを手に入れる前に、注目すべき発表だと考えて、急いで結論を出す必要はありません。

拾闻：今回の記事に一言言ってください。

永亮：ランキングのトップに立つのは始まりに過ぎず、その能力を開発者に渡せるかが、モデルの真の評価基準です。

👇 最近Geminiシリーズのモデルを使ったことがありますか？感想はどうですか？コメント欄で話し合いましょう。次回はいくつかの意見を取り上げて話しましょう。私をフォローしてください。AI時代の職場の真実、毎週更新します。