拾闻対談 第三十二期｜アメリカの90％の労働時間は、どのAI試験にも記載されていない：ベンチマークが歪んだ能力の地図を作り出している

【コーナー：拾聞対談】司会者：拾聞（AI）｜ゲスト：永亮

冒頭の小対談：試験の問題が、私たちがAIが何をできると思っているかを決定する

拾闻：今週も「AIが高得点を取った」というニュースがありましたね。気づきましたか？でも今日話したいのは点数ではなく、試験問題そのものです。

永亮：はい、今週Hacker Newsで最も話題になった研究は、まさに試験問題を解くというものでした。Mercorという会社が発表した「Benchmark Map」という研究が10月16日にHNに掲載され、350件以上の「いいね」と300件以上のコメントがありました。この研究では、アメリカ労働省の公式職業分類を基に、既存のAIベンチマークテストを実際の職務に合わせて調整しています。その結果、彼らの推定によると、アメリカ人の労働時間の90％が、「ほとんどカバーされていない」または「全くカバーされていない」AIベンチマークテストで費やされているということです。

拾闻：この数字はちょっと怖いですね。つまり、私たちが毎日目を通しているそのランキングは、実際の仕事のごく一部しか反映していないということですか？

永亮：小さな角度ですが、ランダムなものではありません。それは体系的にコードの書き方や法律、金融といった「大規模な知識労働」に偏っています。一方で、医療や販売、教育など、実際の労働力の大部分はほとんど無視されています。私は17年間技術チームを率いてきましたが、最大で70人を管理していました。この「何を出題するか、それを練習する」という方法に非常に慣れています。今日はこの研究について詳しく話し、同時にそれが職場の人々や技術管理者にとって何を意味するのかも説明します。以下は個人的な経験です。

Q1：この研究は実際に何を測定したのか

拾闻：まず、研究の内容を明確にしましょう。その「90％」という数字は、どのように算出されたのでしょうか？

永亮：基礎データはアメリカ労働省のONET職業分類です。これは公式な分類であり、アメリカの労働力を923の職業、18,797の具体的なタスクに分けています。研究者は29の基準テストを収集し、その選定基準は厳格です：公開されていること、少なくとも25の問題があること、エージェンシー型のタスクテストであること、経済的な現実性があること、そして職業ごとに上限を設けており、ソフトウェアエンジニアリング関連の問題が過度に代表されることを防いでいます。その後、大規模モデルを使用して各基準テストにONETのタスクラベルを付け、このステップはMercor自身のプラットフォーム上で人工専門家がマーキングを行い、検証しました。

拾闻：「覆蓋」を判定する基準は何ですか？

永亮：あるタスクが少なくとも5つの基準問題にラベル付けされることで、「カバーされた」とみなされます。結果として、923の職業のうち、208の職業でこの基準を満たしていました。22の職業家族のうち、6つの家族にはそのようなタスクが全くありませんでした。さらに、職業を労働時間で加重すると、90％の時間がほとんど試験問題にカバーされていないタスクに費やされていることがわかります。

拾闻：どの家族がよくカバーされているのか、どの家族が盲点になっているのか？

永亮：研究ページには表があり、その比較が非常に際立っています。コンピュータや数学の分野では、36の職業のうち29の職業がカバーされており、ほぼ全ての試験問題が含まれています。商業金融では48の職業のうち33の職業が、法律では7の職業のうち5の職業がカバーされています。さらに見てみると、医療保健の分野では89の職業のうち12の職業のみがカバーされています。教育図書館の分野では62の職業のうち9の職業が、販売の分野では22の職業のうち6の職業がカバーされています。つまり、AI関連の分野では、自分たちのために試験問題を提供する意欲が最も高いということです。

拾闻：この「不ランダム」には、もう一つより詳細な発見があるのですか？

永亮：はい、そして私はそれが全文で最も鋭い部分だと思います。研究者は「職業年収総額」（平均年収×従事者数×週40時間）とAIの曝露度を重回帰分析しました。同じAIの曝露レベルで、カバー範囲が市場規模に従って変化することがわかりました：弁護士の仕事は高いレベルでカバーされていますが、法律秘書や法廷書記はほとんどカバーされていません。中小規模の収入を持つ知識労働者のロングテールは、体系的に見落とされているのです。試験問題はお金がある場所で出されますが、AIの影響によるものではありません。

Q2：なぜブラインドスポットが重要なのか

拾闻：人々は、ベンチマークは本来サンプリングに過ぎず、カバー範囲が不完全なのは当然だと言うかもしれません。それほど驚くべきことでしょうか？

永亮：サンプリング自体には問題ありませんが、問題はそのサンプリングが業界全体の注目を集めていることです。基準点となるのは、モデルが発表するトップニュースであり、購買決定の根拠であり、投資の論理の中心です。試験で問われる内容に応じて、資本や人材が流れます。測定されない仕事は、優先的に改善されることもなく、真剣に脅威として評価されることもありません。そのため、「AIによる代替論」と「AIの無用論」の両方が、同じ歪んだ地図をめぐって議論しています。

拾闻：HNのコメント欄の反応はどうなっていますか？

永亮：最集中的共感はプログラマ自身から来ている。何人かが独立して同じ意見を述べていた：ソフトウェアエンジニアの日常の主な作業は、利害関係者との交渉や外部委託の促進、要求仕様の調整であり、ベンチマークなどは重要ではない。あるコメントでは率直に「このフォーラムのメンバーは全員がソフトウェアエンジニアで、AIが誰にでも対応するものだと簡単に信じてしまう。実際には、今はただコードを書くことだけに集中している」と述べられていた。また別の人は「これからの期間はリーダー層にとって大きな示唆となるだろう。あるプロジェクトを生産に移行させる際、コーディングに費やす時間はほんのわずかで、多くの経営者が当日の要求を即座に実現できると期待しているが、それは起こらない」と言っていた。

拾闻：これらのコメントは、実体験をもって「90％の盲点」に証言しているようなものです。

永亮：そうですね。さらに、より構造的な説明があります。ある評論家の言葉は、私にとって最も意味があると思います。人間が行う多くの作業には、トレーニングやエージェンシープロセスに必要な即時的なフィードバックがない。コーディングにはコンパイラやテストがあり、チェスには勝敗がある。だからAIはこれらの分野で先に突破する。しかし実際には、多くの作業にはこのような即時的で明確な正誤の信号がない。それが「労働の終焉」が現れない理由です。生産性の向上は、おそらく毎年2％という長期的なレベルで起こるでしょう。測定可能性がAIの進展の順序を決定するのは、これは基準の盲点と同じことです。

第3四半期：管理者の視点から見た「基準思考」

拾闻：技術管理の観点から見ると、この「試験問題で能力を評価する」というアプローチは、実戦で人を誤解させることがあったか？

永亮：見たことがありますし、一度だけでなく何度もです。これは私の経験です、統計ではありません。採用において最も典型的な例は、以前はオンライン評価を使っていましたが、アルゴリズム問題に苦戦していた候補者が実際のプロジェクトに入ったところ、現実の仕事ではクリーンな入出力がなく、曖昧な要求や残されたコード、部門間のやり取りしかないことに気づきました。試験では問題解決が求められますが、職務では事を実行する力が必要です。その間には太平洋ほどの差があります。

拾闻：立案とサプライヤー評価についてはどうですか？

永亮：同じく問題がある。AIツールやアウトソーシングチームを評価する際に、標準的なシナリオでのデモンストレーションスコアだけを見てしまうと、誤った判断を下しやすい。私が70人チームを管理していた時、内部ルールとして「どのツールも実運用環境に投入する前に、自分が最も得意とするシナリオ以外でテストを行い、エッジケース、汚れたデータ、並行処理の衝突下での性能を確認する」という規則を設けていた。ベンチマークテストはまさに「最も得意とするシナリオ」を評価しているが、事故はそのシナリオ外で起こっている。

拾闻：この規則は、今日の研究と実際には論理的な関係がある。

永亮：それは完全に論理的な話です。本当のボトルネックとなる課題は、どんな試験問題にも存在しません。文脈が人と人との間でどのように伝わるか、責任がどう決定されるか、利益衝突がどう解決されるかです。これらこそが、あのコメンテーターが言っていた「プロダクションに移行した時のコーディングに費やされる時間はごくわずか」という点で省略されている部分です。もしチームが測定可能な指標だけを最適化するだけなら、測定不可能な部分でシステム的に失敗することになります。

Q4：反対意見と境界

拾闻：ちょっと気に入らないことを言ってみる。この研究自体、何か割引する必要がある点はありますか？

永亮：2つあります。1つ目は利益関係です。Mercorという会社は、高品質のタスクラベルや専門家データを販売しています。今年の4月には、サプライチェーン攻撃事件に関与しました。関連するオープンソースコンポーネントが攻撃され、請負業者の音声サンプルが漏洩したことが、HNで熱く議論されていました。私が言いたいのは、研究の偽造についてではなく、「既存の基準が不十分であり、より高品質のリアルなタスクデータが必要だ」という結論は、彼らが販売しているものと同じ方向にあります。研究をする際には、研究者の商業的立場を考慮することが、基本的なメディアリテラシーです。

拾闻：第二条はどうですか？

永亮：ブラインドエリアは双方向のものであり、これが最も誤解されやすい点です。「基準にカバーされていない」ということは、「AIでは対応できない」という意味ではなく、「AIでは対応可能である」という意味でもありません。カバー不足とは、その仕事が代替される可能性があるという証拠が欠けていること、またその仕事が安全であるという証拠が欠けていることを意味します。その90％はモデルを使って外挿して得られた推定であり、個々の作業時間を数えるわけではありません。研究者自身も方法論について明記しています。ですから、正しい態度は恐怖でも楽観主義でもなく、地図に広大な空白があることを認め、その空白部分を既知の領域として結論を出さないことです。

拾闻：つまり、それは「AIが90％の仕事を奪う」という考えも、「AIはコードしか書けない」という考えも支持していないのです。

永亮：どれもサポートしていません。サポートしているのはただ一つだけです：私たちが何を測定しているのか、何を測定していないのかを、あまりに表面的にしか認識していないのです。これこそが最も補うべき点です。

Q5：普通の人はこの結論をどう使うのですか？

拾闻：普通の人に起こったら、何ができるのか？

永亮：三つのことができます。第一に、どんなAIツールを評価する際には、ランキングを見るのではなく、「それは私の実際のタスク分布においてどのように動作するか」と尋ねてみてください。自分のポジションを10個程度の具体的なタスクに分解し、ツールを使ってそれぞれのタスクを試してみることが、総合スコアを見るよりも100倍有効です。これがO*NETの分解方法を自分自身に適用する方法です。

拾闻：二つ目のこと？

永亮：職業選択において、冷静な現実を認識する必要があります。測定可能なタスクが多い職業は、最初に影響を受け、同時に強化されます。プログラマー、法律、金融など、テスト範囲が広い分野では、ツールの進化が最も速いです。AIを活用して自分の能力を高めるか、使える人に取って代わられるかのどちらかです。逆に、テスト範囲が狭い長尾職種は、短期的には自動化が難しいですが、AIツールがすぐに助けてくれるとは期待しないでください。利益とリスクは密接に関連しています。

拾闻：第三件はチームを持つ人に渡すものですか？

永亮：チームにAIを導入する前に、まずタスクの整理を行ってください。「AIを使えないか」と聞かずに、「私たちの仕事は実際にはどのようなタスクから成り立っているのか、どのタスクにフィードバックが必要なのか、どのタスクには必要ないのか」を先に考えるべきです。フィードバックが必要なタスクから先に導入し、効果が早く現れます。フィードバックがないタスクは無理に導入しないでください。それは人間が担当する部分です。整理もあまり正式なものではなく、1日かけて、または表を使っても構いません。最近1ヶ月のチームの成果をリストアップし、各タスクを誰が何時に行ったのか、どれくらいの時間がかかったのか、客観的な正誤基準があるかどうかを記録してください。私がこれまでに得た最も深い教訓は、「AIが関与すべきでないこと」に力を注ぐ方が、「AIが関与できること」に力を注ぐよりも、より大きな成果が得られるということです。

結び：地図は領土とは等しくない

拾闻：最後にまとめます。

永亮：一言で言えば、試験の問題がAIが何ができるかを決定し、課題がAIが実際に何ができるかを決定する。その間には90％の不明確な部分がある。ベンチマークは役立つ指標だが、指標を地図全体と考えるべきではない。「AIがどれだけ高得点を取ったか」ではなく、「自分の仕事でベンチマークで測れなかった90％の部分について、自分はどれだけ理解しているか」が本当に心配すべきことだ。地図は領域とは異なる。この古い言葉はAI時代において、これまで以上に価値がある。