拾闻対談 034｜5万の偽データがAIに引用を教える

【コーナー：Shiwen Dialogue】司会者：「Shiwen」ゲスト：「Yongliang」

【フォローガイド】 👆 上の青い文字「Yongliang Talks AI」をフォローして、星マークを付けてください。AI時代の職場とビジネスの実情を毎週更新します。

【表紙画像：タイトルカード】

冒頭の対談：偽データが真実として引用される場合

「Shiwen」：この2日間、Hacker Newsに一つの投稿が大流行しています。Metehan Yesilyurtという研究者がGPT-4.1を使って50ドルで5万個の偽の統計ページを1日で作成しました。さらに驚くべきことに、これらの偽データはGoogleには通過しませんでしたが、ChatGPTによって繰り返し収集され、引用されていました。7ヶ月間に1万回以上のセッションに登場し、学術論文やカタール金融グループの投資研究、インドの経済学の出版物、カナダのインフルエンサーコミュニティの研究報告にも現れました。この件についてどう思いますか？

「Yongliang」：私が読んだこの投稿は、事実パッケージの内容でした。最も痛烈だったのは「誰かが偽造している」ということではなく、「偽造が体系的に真実として受け入れられている」という点です。17年間技術業界で働き、最大で70人のチームを管理してきました。以前は情報の質について議論する際、検索エンジンが十分に良ければ真実は必ず最初に現れると思っていました。しかし、この事例は私たちに伝えています：AIによって引用されることと、Googleのランキングに載ることは別物です。ChatGPTは、Googleによってデインテックされたほぼすべてのウェブサイトを7ヶ月間、権威ある情報源として引用できます。これが今回の記事で最も詳しく解説したいことです。

「Shiwen」：つまり、この問題は「AIの嘘」よりも深いものだと思いますか？

「Yongliang」：そうです。AIの嘘は皆さんが知っている問題ですが、ここではAIが正式に見えるウェブページから数字を取得し、その数字が層を重ねて引用され、包装され、最終的に「出典のある事実」になっています。これは単なる幻想よりも防ぎにくいです。なぜなら、「引用チェーン」という外観を持っているからです。今日は、現象、個人的経験、チームメカニズム、反対側の境界の4つの角度からこの問題を分解してみたいと思います。

Q1：これら5万個の偽データには、一体何が起こったのか

「Shiwen」：まず現象を明らかにしましょう。この実験はどのように行われましたか？

「Yongliang」：事実パッケージの情報に基づき、著者は新しいドメインstateglobe.comを購入し、GPT-4.1を使って1日で約5万個の統計ページを大量に生成しました。これらはSEO、コンテンツマーケティング、ソーシャルメディア、eコマース、ネットワーク技術など200カ国をカバーしています。すべての数字は捏造されており、著者自身の言葉では「I never checked a single one」です。

「Shiwen」：コストはどうですか？

「Yongliang」：総コストは約50ドルで、そのうち30ドルは統計ページの生成に、20ドルはリスト記事の生成に使われました。このコストはコンテンツマーケティングにおいてはほとんど無視できるものですが、生産量は驚異的です。重要なのはその後の展開です：Googleのアルゴリズムが更新された後、このサイトの検索可視性は崩壊し、ほぼデインテックされました。つまり、従来の検索エンジンには通過できなかったのです。

「Shiwen」：しかしChatGPTには通過しましたか？

「永亮」：過去は、しかも良い状態でした。ファクトパックに記載されているデータによると、過去30日間でCloudflareのログには60万回以上のボットリクエストがあったことが示されており、そのうち約7万2千回はChatGPT-Userからのものでした。7ヶ月後も、このサイトは依然としてChatGPTによって引用されており、GA4によるとChatGPTからのセッション数は1万回を超えています。Peecが追跡したヒント語の中では、stateglobe.comの可視性が2位で、Statistaに次いでいます。これは、ChatGPTの検索と引用メカニズムが「Googleに掲載されているかどうか」を信頼できるフィルタリング条件としていないことを示しています。Googleに掲載されていないことと、AIがあなたを見つけて引用できるかどうかは、別のことです。

「拾闻」：これらの偽データはどこに流れてしまったのでしょうか？

「永亮」：ファクトパックには4つの例が挙げられています：学術論文1本、カタール最大の金融グループの投資研究、インドの経済学出版物1本、カナダのあるインフルエンサーコミュニティの研究報告1本。つまり、学術界から金融業界、そして自メディアの研究報告に至るまで、偽データは異なる層を超えて広がっています。

Q2：あなた個人として、このような「引用汚染」をどのように識別し、対処しますか？

「拾闻」：あなた個人についてです。17年間の技術ディレクターとしての経験を活かして、AIが提供するデータや引用が信頼できるかどうかは、どのように判断しますか？

「永亮」：まず前提を述べます：これは私の経験であり、統計ではありません。人々が情報を信頼するのは、「それがどれだけ正式に見えるか」によるものであり、「どれだけ検証されているか」ではありません。ドメイン名1つ、表1つ、引用形式1つで、警戒心を緩めることが容易です。そのため、ファクトチェックを行う際には3点を見ます。

「拾闻」：それは何点ですか？

「永亮」：第一に、出典に相互検証可能な経路があるかどうかを見ます。AIが数字を提供しても、まず「その数字は最初にどこから来たのか？」と尋ねます。それが公式の統計、学術雑誌、上場企業の財務報告、またはブログかどうかです。出典が追跡できない場合や、過去に私が聞いたことのないサイトから来ている場合は、直接信じません。第二に、データに内部一貫性があるかどうかを見ます。偽データはしばしば孤立しており、同じ分野の他のデータと一致しません。例えば、ある国の電子商取引の普及率が、その国の人口、GDP、インターネット普及率とは全く異なっている場合、疑問符をつけるべきです。第三に、引用チェーンが「洗浄」されているかどうかを見ます。このケースでは、著者が「citation laundering」という概念を提案しており、偽データが繰り返し引用されることで、ますます真実のように見える状態です。私の経験では、「引用が多い」ように見える内容ほど、最初の出典まで追跡する必要があります。

「拾闻」：では、このプロセスにおいてAIツールはあなたを助けるのか、それとも害するのか？

「永亮」：両刃の剣です。AIは情報を迅速に整理し、要約を生成することができますが、同時に「出典がある」と「出典が信頼できる」を混同してしまいます。私は何度も遭遇しています。AIが提供する引用形式は非常に規則的ですが、アクセスすると開けなかったり、内容が一致しなかったりします。そのため、自分自身にルールを設けています：AIが提供するどんな引用も、自分で確認したり、他の出典と相互検証したりして、AIだけでファクトチェックを行わせていません。

「拾闻」：AIが直接データを提供することは絶対にないシナリオはありますか？

「永亮」：あります。三つのカテゴリーがあります。第一は、投資、金融、政策に関する数字です。例えば、市場の規模、成長率、ユーザーベースなどです。これらの数字に誤りがあれば、意思決定のコストが大きくなります。第二は、外部に発表される報告書、論文、白書などです。署名されたり、引用される内容については、データを人間が確認する必要があります。第三は、重要な判断を下す際の例です。例えば、ある市場に参入するか、ある分野に投資するかどうかです。AIは資料を迅速にスキャンすることができますが、数字の真偽や解釈は私が責任を持って行う必要があります。

Q3：70人チームの中で、情報の確認メカニズムをどのように構築したか

「拾闻」：個人からチームへと。70人を管理してきましたが、AIによる引用の汚染をどう防ぐか？

「永亮」：まず一つの基本原則を述べます。AIは内容を生成することができますが、内容の正確性を保証することはできません。私たちの内部には厳格な要件があります。外部に発表されるすべての報告書、PPT、公式アカウントの記事については、データに元の出所を明記し、その出所が直接の出所に遡ることができる必要があります。AIが内容の生成に関与している場合、文書内でどの部分がAIによって生成され、どの数字が人間によって確認されたかを明記する必要があります。これは形式上的なものではなく、誤りが発生した時に責任の境界がどこにあるかを知るためです。

「拾闻」：具体的にはどう実施しているか？

「永亮」：当時、三つのレベルに分けました。第一は内部での議論資料で、AIが生成した内容は直接使用できますが、「AI初稿、未確認」と明記します。第二は内部の意思決定資料で、データは人間によって確認され、核心的な数字の横には人名が記載されます。第三は外部に発表される資料で、一枚の図や一つの数字についても出所を明記し、プロジェクト責任者が署名して確認します。これら三つのレベルの境界はチームのwikiに明確に記載されており、新人が入社する際にはこれを学ぶ必要があります。

「拾闻」：しかし、チームは毎日多くの情報を処理しているので、全てを人間が確認するのは現実的ではないですよね？

「永亮」：もちろん現実的ではありません。だからメカニズムを使って階層化します。当時、二つのことを行いました。第一に、「データソースホワイトリスト」を作成しました。一般的なデータは、公式の統計、権威あるメディア、上場企業の財務報告書、有名な研究機関などの出所からのみ取得できます。AIは検索を手伝うことができますが、最終的に使用するかどうかはホワイトリストを照らし合わせて決定します。第二に、「敏感数字の再確認リスト」を作成しました。市場規模、成長率、ユーザーベース、収入などの重要な指標に関わるものは、二つ以上の独立した出所で相互検証されるか、またはその分野に精通している人が確認する必要があります。

「拾闻」：同僚の中には、これが負担を増やすと感じている人もいますか？

「永亮」：確かにそうです。特に運営や市場の担当者は、私が急いでいるから、各数字を一度ずつ確認するなんて、効率がどうなると思いますか？私の回答はこうです：AIが求めるのは「速く見つけ、速く書く」効率であり、「送信後に恥をかかない」効率ではありません。不正確な数字が引用されると、その後の否定、明確化、信頼の回復のコストは、一度確認するために半時間を費やすよりもはるかに高くなります。これまで何年もチームを率いてきましたが、この道理は何度も検証されてきたので、プロセスに書き込む勇気があります。

Q4：反対意見はどう言うのか、境界線はどこにあるのか

「拾闻」：HN上でも多くの議論があります。いくつか代表的なものを挙げて話しましょう。

「永亮」：私が事実包の中のコメントを引用して説明します。最初のコメントはjqpabc123からで、要約すると：AIはデータが偽物かどうかを知らないし、気にもしません。この言葉は率直ですが、一つの事実を突きつけています：AIの引用メカニズムは本質的に確率マッチングであり、真偽の判断ではありません。特定の数字が捏造されているからといって引用を拒否することはありません。その数字が合理的な文脈の中に含まれている限りです。

「拾闻」：この判断はどのような結果をもたらすでしょうか？

「永亮」：2番目のコメントはzhismeからで、より具体的に述べています：今でもChatGPTを使ってマネージャーに報告書を作成させる人がいます。偽データの雪だるま式に大きくなっていくでしょう。つまり、AIが偽データを引用した場合、その偽データはより多くのAI生成の報告書に入り、さらに多くの人に引用され、自己強化の汚染チェーンを形成します。これが、著者がこれを「citation laundering」と呼ぶ理由です。なぜなら、引用自体が洗浄ツールになってしまうからです。

「拾闻」：解決策の観点から意見を述べる人はいますか？

「永亮」：います。ShadowOfThePitの問題は：この問題はどう修正するか？インターネット上で無責任なことを投稿するのを防ぐものは何もありません。この反問は境界を示しています：インターネットの本質はオープンな発信です。AIの検索メカニズムがどれだけ進歩しても、ユーザーの真偽を判断することはできません。tkdbのコメントも代表的です。彼はLLMが現在直面している問題が、人間がGoogleに登場する前に直面していた問題と同じだと述べています：このウェブサイト上の情報は本物で、高品質なのでしょうか？

「拾闻」：では、その境界はどこにあるのでしょうか？

「永亮」：境界は「ユーザーの責任」にあります。AIは情報取得のコストを下げることができますが、引用の結果を負う責任を代替することはできません。もしあなたが研究者、アナリスト、コンテンツクリエイターであれば、AIが提供する引用に対して費やす1分1秒は、将来自分が恥をかく可能性を低減することになります。もしあなたが普通の読者であれば、少なくとも次のことを知っておくべきです：AIが引用するものは必ずしも検証されていない可能性があり、重要な数字は出所に戻って確認する必要があります。

結論：偽データは消えないが、責任は移譲できない

「拾闻」：最後に結論を述べましょう。今回の記事に一言で要約してください。

「永亮」：5万個の偽データがAIに引用することを教えてくれました。この件の真の教訓は「AIは人を欺く」ということではなく、「AIは引用を新たな汚染形態に変えている」ということです。以前は「写真があれば真実がある」と言っていましたが、今では「リンクがあれば真実がある」となり、もはやリンクや引用だけでは不十分かもしれません。ツールが強力になるほど、人間の判断の価値は高くなります。

「拾闻」：もう少し具体的に、普通の職場の人々が今日何を得ることができるでしょうか？

「永亮」：3つの言葉です。第一に、AIが提供する引用は免責証明ではありません。引用チェーンがどれだけ長くても、最終的な責任はあなたにあります。第二に、重要な数字は少なくとも一度は相互検証を行ってください。特に報告書、論文、PPTに書き込むものです。第三に、チーム内には明確なデータ検証メカニズムが必要です。誰が主張し、誰が署名し、誰が責任を持つかを明確にしましょう。技術がどれだけ変わっても、これは変わりません。次回AIにデータを探す際には、急いでコピー＆ペーストするのではなく、まず自分自身に問いかけてください：このデータが明日誰かに疑問を持たれたら、それがどこから来たのか説明できますか？

【フォローガイド】 👇 AIが偽データを引用する状況に遭遇したことがありますか？どうやって発見しましたか？コメント欄で話しましょう。次回はいくつかの例を取り上げて話します。私をフォローしてください。AI時代の職場の真実を、毎週更新していきます。

情報出所

• Peec AIのブログ記事「統計を公開し、引用される：私のデータを世界中に広めた戦術」、2026年10月7日掲載、著者：Metehan Yesilyurt（事実の引用）
• 実験詳細：stateglobe.comがGPT-4.1を使用して1日で約50,000件の偽の統計ページを生成し、200カ国に広げた。コストは約50ドル（事実の引用）
• ChatGPTのデータ収集：30日間のCloudflareログから>600,000件のボットリクエストがあり、そのうち約72,000件がChatGPT-Userからのもの。7ヶ月後のGA4では10,000件以上のセッションがChatGPTからのものと表示されている（事実の引用）
• 引用例：学術論文、カタール最大の金融グループの投資研究、インドの経済学出版物、カナダのインフルエンサーコミュニティの研究レポート（事実の引用）
• HNのコメント：jqpabc123「AIはデータが偽物かどうかを知らないし気にも留めない。」、zhisme「人々は依然としてChatGPTを使ってマネージャー向けの報告書を作成している。偽データの雪だるま式の増加。」、ShadowOfThePit「これはどう解決できるのか？直接のデタラメを公開することを何も制限しない…」、tkdb「LLMはGoogleが存在する前に同じ問題に直面していた。」（事実の要約引用）
• ゲストの経験：17年間の技術ディレクターとしての経験。ピーク時には70人のチームを率いていた。データソースのホワイトリスト化、機密数字の再検証、AIコンテンツのタグ付け、署名の確認などはすべて個人の実践である