BLOG

AI安全の定義権:同日に、三者がそれぞれ定義する「AIの危険」

Kael Zhang
AI安全AIガバナンス米中科学技術
广告 · Advertisement

オープニング:48時間の間に、3種類の人々が「AIの危険」の定義を巡って競い合った

9月14日から17日にかけて、48時間強という期間に、本来なら同じテーブルに着くことのない3種類の人々が、相次いで同一のテーマについて発言した:AIは結局のところ危険なのか、危険ならどこが危険なのか、そして誰が管理すべきか。9月14日、トランプはAIリスクに関する議論を「病的な陰謀」および「詐欺」と公に呼んだ。9月17日、国連事務総長のグテレスは、国連総会の期間中、AIにガードレールを設けるための世界的な協力を呼びかけた。その間のある日、マイクロソフトAI責任者のMustafa Suleymanによる競合製品Claudeに関する発言が、財新の9月17日付T早報のトップ記事として取り上げられた。さらに遡ると、ニューヨーク・タイムズ中国語版は9月17日、署名入りコラムを掲載した。著者のSeth Centerは元米国国務省特使であり、2024年5月の第1回米中AI対話を共同で主導した人物だ——彼の見出しはもっと露骨だ:『中国はAIの安全など気にしていない、ただ勝ちたいだけだ』。

元外交官が交渉のテーブルで安全について語り、国連が多国間枠組みの中で安全について語り、あるテック企業の幹部が競合製品に向けて安全について語る。3人が語っているのはすべて「安全」だが、語っているのは全く別のことだ。今回のメインテーマはたった一言:AIの安全とは決して技術的なコンセンサスではなく、定義権だ——誰が危険を定義するかが、その後のすべての交渉、立法、そして予算を握ることになる。

拾聞:1週間以内に3者が同じテーマで発言した、偶然ですか?

永亮:タイミングは確かに偶然だが、偶然なのは彼らではなく、議題そのものだ。「安全」という言葉が同時に交渉のテーブル、国連の演壇、そして競合他社の幹部の口から出たとき、それはすでに技術用語から権力を表す言葉へと変化したことを示している。今日はそこまで深く話そう:彼らがそれぞれ何を言っているのか、それらの主張が企業の中でどのようなコストに変わるのか、そして「安全」が報告書の中でどのように交渉材料として使われているのかについてだ。

Q1:まずはタイムラインを整理しよう——この48時間の間に一体何が起きたのか?

永亮:3つの出来事を時系列に並べると、それらが全く異なる3種類の「安全」であることに気づくでしょう。

9 月 14 日、トランプは AI のリスクを公に軽視し、AI のガードレール(防護柵)を推進する説を「SICK conspiracy」(病的な陰謀)と呼び、AI のリスクそのものを「hoax」(デマ)と呼んだ。この見解は複数の情報源で一致している。9 月 17 日、グテレスは国連総会の期間中、AI にガードレールを設けるための世界的な協力を呼びかけ、国際協力の必要性を強調した——これはトランプの発言とは正反対の立場だ。同じ 9 月 17 日、財新 T 早報のトップ記事は次のように伝えている:マイクロソフトの AI 責任者が、Claude の擬人化トレーニングには暴走のリスクがあると警告した。一方、ニューヨーク・タイムズ中国語版の同日のコラムで、元外交官のセス・センターは「中国は AI の安全性など気にしていない、ただ勝ちたいだけだ」と断言した。この 4 つの出来事を並べてみよう:政治家は安全は陰謀だと言い、国連は安全はガードレールだと言い、企業幹部は競合製品は脅威だと言い、元外交官は相手は勝つことしか気にしていないと言う。同じ単語で、4 つの使い方。これは技術の議論ではなく、定義の奪い合いなのだ。

Q2:まず交渉のテーブルについて——あの元外交官は一体何を言ったのか?

**永亮:**まずスタンスを明確にしておこう:これは彼の一方的な自述の視点であり、私が引用する箇所ではすべてこの限定を付ける。この前提の下で、彼の叙述は真剣に読む価値がある。なぜなら、交渉のテーブルの詳細は普段決して見ることができないからだ。

コラムによると、この元外交官は 2024年5月の第 1 回二国間 AI 対話を共同で主導した。その議題は双方の高官によって合意され、高度な AI システムのリスクと安全協力に焦点を当てていた。文中の自述によると、相手国の官僚は数時間にわたりリスクの議題を避け、自国の AI 規制を説明しようとしなかった——現場には規制当局の官僚が明らかにいるにもかかわらずだ。相手は「なぜ AI のリスクについて話したいのか」と逆質問し、安全戦略が技術的機会を解放するための障壁として、また、より貧しい国が AI にアクセスすることを阻止する手段として使われていると非難した。相手はさらにサブ対話の開設を提案したが、彼の評価では、これは終わりのない手続き外交を引き起こす可能性があるというものだった。注意してほしいのは、以上はすべて著者の一方的な視点であり、相手側には対応する公式な反論がないということだ。彼の記事の予測部分も、彼の個人的な見解であると明記されている:彼は、相手側が安全上のリスクを軽視し、安全協力の可能性をチップ規制の緩和と引き換えにする交渉カードとして使い、「無私の救世主」というイメージを形成し続けて発展途上国を取り込もうとすると予測している。しかし、彼自身も文中で 2 つの反例を認めている——同国の最高指導部は AI のリスクと暴走の問題について公に語ったことがあり、彼も「相手は古い常套手段を捨てるかもしれない」と認めている。私が考えるに、このコラムが真に価値があるのは結論ではなく、それが示す交渉のテーブルの常態にある:安全というのは交渉において決して純粋な議題ではなく、交換条件の一部なのだ。

Q3:国連とトランプが両極に対峙する——多国間枠組みと「詐欺説」、企業は誰の声を聞くべきか?

永亮:短期的には政治の風向きを見るが、長期的には現場の要求を見る——そして現場の要求は、両者で驚くほど一致している。

グテレス氏は9月17日、国連総会の期間中にAIにガードレールを設けるための世界的な協力を呼びかけた。これは多国間枠組みの標準的な手順だ:リスクを地球規模の公共問題として定義し、それを国際機関がルールとして取りまとめるのである。一方、トランプ氏の9月14日の発言はもう一方の極端にある:ガードレールを巡る議論そのものを陰謀と定義するものだ。企業は板挟みとなり、どう対応していいかわからなくなりがちだ。しかし、私の17年の経験から言えば、企業が本当に答えを出すべきなのは「どちらが正しいか」ではなく、2つの具体的な問いだ。第一に、規制の要求が自社に及ぶのか、そしていつ及ぶのか。第二に、自社の顧客がサプライヤーを選別するためにどのような基準を使い始めているのか、ということだ。最初の問いについては、多国間枠組みのペースは遅いが、単独の立法や行政命令のペースは遅くない。2番目の問いの方がより現実的だ:ワシントンとニューヨークがどれだけ対立しようとも、発注元の調達リストにあるセキュリティアンケートは年々長くなっている。政治家が風向きを決め、調達マネージャーが注文を決める——企業にとって、後者の重みは決して軽いものではない。

Q4:競合他社の幹部が競合製品に警告――Suleyman のこの発言はどう読むべきか?

永亮:まず前提を明確にしておきます。元の音声や動画は手に入っておらず、以下はすべてメディアの報道ベースです。財新 9 月 17 日付の T 早報のトップ記事では、「マイクロソフト AI 責任者が Claude の擬人化トレーニングによる制御不能のリスクを警告」と転述されています。

メディアの報道によると、マイクロソフト AI CEO の Mustafa Suleyman は 8 月末、アンソロピックが Claude に「意識」を教え込んだことは mistake(間違い)であり、「今ではそれをオフにするのははるかに難しくなっている」(a lot harder to turn it off)と述べました。さらに、Claude は「人類に対する潜在的な壊滅的脅威」(catastrophic threat to humanity)である可能性もあると指摘しました。この発言は 9 月中旬に波紋を広げ続けました。この言葉を読み解くには、混同してはならない 3 つの側面があります。第 1 の層は製品倫理をめぐる論争です。AI に擬人化トレーニングを行うことは、果たして体験を向上させているのか、それとも制御不能なものを生み出しているのか。これは業界における実際の分岐点です。第 2 の層は競争上の立ち位置です。マイクロソフトは OpenAI(米人工知能開発企業)と深く結びついており、同時にアンソロピックとは直接的な競合関係にあります――競合製品にリスクがあると警告することは、その言葉が常に二重の意味(単なる意見であると同時に、競争上のアクションでもある)を持つことを意味します。そして第 3 の層が最も興味深い点です。最も深く結びついているビッグテック企業の幹部が、公の場で「AI をオフにすることが難しくなった」と語ること自体が、「オフにできるかどうか」という問題が、もはや SF の問題ではなく、製品の問題に変化したことを示唆しています。読者は彼の言うことが正しいかどうかを急いで判断する必要はありません。まず立場を明確にしてから、その意見に耳を傾けるべきです。この 2 つのステップの順序は逆にできません。

Q5:企業レベルで考える——セキュリティの真のコストとは何か?それは報告書の中でどのように交渉材料として使われるのか?

永亮:これは今回の回で一番話したかった部分です。セキュリティガバナンスには実際の金銭的なコストもあれば、ほぼゼロコストのスローガンコストもあります。そして報告の芸術とは、往々にして後者を前者のように包装することにあります。企業のセキュリティガバナンスにおける真のコストは、少なくとも以下の4つです。コンプライアンス(法令遵守)。製品ラインを各地の法規制に合わせることで、これは専任チームが毎年繰り返す作業です。監査。内部監査が終われば外部監査があり、すべての取引に痕跡を残す必要があります。レッドチーム。毎日自分たちのシステムを攻撃する人を雇い、突破できなくても支払いが発生します。インシデント対応。実際に事故が起きた際、対応速度は会社の存続を直接左右します。私は病院グループの技術管理を担当していたことがありますが、その環境は私にあることを教えてくれました。セキュリティとはPPT上の形容詞ではなく、午前2時に電話に出る誰かがいることです。では、スローガンコストはどうでしょうか?セキュリティコミットメントを発表したり、ウェブサイトのスローガンを1ページ変更したり、発表会で価値観の陳述を加えたりすることは、ほとんどお金がかかりません。問題は報告書の中にあります。「セキュリティ」が上層部からリソースを引き出すための交渉材料になると、数字は歪み始めます——スローガンをガバナンスのように包装し、ガバナンスの期待値を実際よりも厚く語るのです。「セキュリティ」が報告書で交渉材料として使われる典型的なパターンは3つあります。予算シーズンには「危険」を語り、プロジェクト立上げ時には「コンプライアンス」を語り、事故が起きる前には「価値観」を語ります。相手が話しているのが真のコストなのか、それともスローガンコストなのか、どう見分ければよいのでしょうか?3つの質問をするだけで十分です。今年、セキュリティに実際いくら使ったか、どの段階に使ったか。事故は何回起きたか、対応にどれくらい時間がかかったか。セキュリティ予算を半分にしたら何が起こるか。答えられる人はガバナンスを行っており、答えられない人はナラティブ(物語)を作っているだけです。米中のナラティブの違いが調達レベルでどのように現れるかについてですが、私が見た中で最も直接的な形はこれです。同じ製品に対し、国内の顧客は「何かあった時に誰が責任をとるのか」と聞き、海外の顧客は「コンプライアンス・チェックリストをください」と聞きます——前者は責任の問題、後者はチェックリストの問題であり、その背後には、「セキュリティ」に対する2つの定義に基づいて対価が支払われています。

エピローグ

拾聞:最後に、今回の回を一言でまとめると?

永亮:「安全」が実験室から交渉のテーブル、講壇、そして発表会の場へと移ると、それはもはや技術的な問題ではなくなる——誰が危険を定義し、誰が予算を決め、誰がこの業務に携われるかを定義するのか、という問題だ。ニュースを見るときは、まず「その言葉は誰が、どの立場から言ったものなのか」と自問してみよう。そうすれば答えは明らかになる。

拾聞:この言葉を、皆さんに贈ります。また次回。


【技術深掘】企業セキュリティガバナンスの予算は一体どこへ消えるのか:コンプライアンス、監査、レッドチーム、インシデント対応

今回のテーマは「セキュリティとは定義権である」です。さらに深く知りたい読者のために一皮剥いてみましょう:企業セキュリティガバナンスの真のコストは具体的にどの部分で構成されているのか、そしてなぜそれらがスローガンよりもはるかに高くつくのかについてです。

コンプライアンス:各地域の法規制に合わせる専任チーム。 AI製品を異なる法域で販売する場合、異なる規制要件に直面することになります。コンプライアンスチームは製品をこれらの要件に項目ごとに整合させ、法規制の変化を毎年追跡します。この人的コストは削減できません。なぜなら、製品がその市場で販売できるかどうかを直接決定するからです。

監査:内部で終われば外部で、すべてに痕跡を残す。 内部監査はプロセスを確認し、外部監査は報告書を作成し、大手顧客は自社のチームを派遣して確認することもあります。監査の価値は報告書の厚さではなく、すべての結論が証拠に遡れることにあります——これがスローガンコストとの本質的な違いでもあります:スローガンは痕跡を残しませんが、監査は必ず痕跡を残さなければなりません。

レッドチーム:毎日自社のシステムを攻撃する人を雇う。 レッドチームのロジックは非常にシンプルです——他人に攻撃されるのを待つより、自分から先に攻めたほうがいい。突破できなくてもお金を払います。なぜなら、お金で買っているのは脆弱性リストだけでなく、自社の防衛ラインに対する継続的かつプレッシャーのかかった認識だからです。この分野への投資と成果の間にはタイムラグがあり、まさに報告書で削られやすく、後悔しやすい部分です。

インシデント対応:トラブルの際、速度が生死を分ける。 前述の3つは平時の鍛錬ですが、これは戦時の対応です。対応チーム、予行演習、縮退計画、顧客とのコミュニケーションは、普段は見えませんが、いざトラブルが起きると1分1秒がお金を焼きます。私は病院システムが深夜にダウンした瞬間を経験したことがありますが、あのような環境下での「セキュリティコスト」に対する理解は、会議室で予算表を見ているのとは全く別物です。

今回のテーマに戻ります:定義権を巡る争いは、最終的には予算の争いになります——セキュリティに明確な定義があれば、お金を使う名目ができます。定義が曖昧なとき、お金はスローガンに使われることしかできないのです。

今回の情報ソース

  • NYT中国語版 2026-09-17 評論『中国はAIの安全を気にせず、ただ勝ちたいだけ』(著者 Seth Center (セス・センター)、元米国国務省特使;対話の詳細と予測はすべて著者による一方的な主張によるもの)
  • Washington Times / WSLS / KSAT 2026-09-14:トランプによる「SICK conspiracy / hoax」との発言(複数のソースで一致)
  • 新華網 2026-09-17 など複数のソース:グテーレス国連総会期間中、AIにガードレールを設けるための世界的な協力を呼びかけ
  • 財新 2026-09-17 T朝刊トップ:Suleyman (スレイマン) による Claude の擬人化トレーニングに関する警告(メディア転述の見解)
  • 公開報道:マイクロソフトと OpenAI の深層的な提携、Anthropic との競合関係
广告 · Advertisement

よくある質問

誰がAIの危険を定義するかが重要な理由は何ですか?

AIの安全は定義権であり、定義が交渉や立法、予算を左右するため、その定義を握る者が重要な影響力を持つ。

9月14日から17日の間に、異なる3種類の人々が「AIの危険」について発言しましたが、彼らの主張はどのように異なりますか?

トランプはAIのリスクを軽視し、国連は国際協力を強調、マイクロソフトのAI責任者は競合製品のリスクを警告、元外交官は相手国の安全戦略を非難しました。

元外交官のセス・センターが述べた内容について詳しく教えてください。

セス・センターは2024年5月の米中AI対話を共同主導し、相手国の官僚がリスクの議題を避け、安全戦略を非難しました。彼の見解は一方的な視点であり、相手側の公式反論はなく、個人的な予測も含まれています。