BLOG
拾闻対談 036｜AIクローラーと悪質ボット：オープンウェブはあとどれだけ持つのか
拾聞対談：ホットトピックの発表 × 技術的な判断 × 実用的なアドバイス。
開会の対談
拾聞：今週、Tech Policy Pressの記事によると、AIスパイダーがニュースサイトやブログに大きな影響を与えているそうです。議会やニューヨーク州も、自動的にウェブページを訪れるすべてのロボットに「自己紹介」を義務付ける法律を制定しようとしています。あなたはどう思いますか？
永亮：個人ブログや小規模サイトを運営している者として、最初の反応は「やっと誰かが対処してくれる」ではなく、「これは少し不十分だ」でした。本当に問題なのはスパイダー技術そのものではなく、何も提供せず、名前を明かさず、リンクを貼らず、さらにはサイト全体のミラーを作成するようなアクセスです。もし法律がスパイダーに名前を記載させるだけなら、それはドアをガラスのものに変えることになり、善人も悪人も開けることができます。本当に制限されるべきは、アクセスの行為とその結果であり、スパイダーに申請書を記入させることではありません。
Q1：AIスパイダーは本当にオープンなネットワークを壊してしまったのでしょうか？
拾聞：原文によると、ニュースサイトは大量のコンテンツがスパイダーによって訓練され、AI検索やチャットボットが広告やトラフィックを奪っているそうです。あなたもネット上で文章を書いているので、実感はありますか？
永亮：あります。技術コンテンツを10年以上扱ってきましたが、以前はサイトのトラフィックは主に検索に依存していました。今では、一部の読者がAI検索の要約によって直接奪われています。ニュースサイトの感覚はさらに強くなるでしょう。なぜなら、彼らのビジネスモデルは広告であり、トラフィックが奪われると広告収入も減少するからです。しかし、トラフィックの奪い取りは表面的な問題であり、より深刻な不安はコンテンツが無料で利用されることです。考えてみてください。一生懸命書いた記事がモデルに訓練され、そのモデルが他の場所であなたの意見を再現する場合、名前も出さず、出典も示さないのは、従来の検索エンジンがリンクを提供するのとは全く異なります。従来の検索は人をあなたの家に連れて行きますが、このようなアクセスはあなたのコンテンツを取り除いて新しい家を作ります。
拾聞：では、このような圧力はニュースサイトや個人ブロガーにとってどのような違いがありますか？
永亮：ニュースサイトが直面するのは大規模な損失です。一つの記事がAIクイズを通じて何億人にも見られるかもしれませんが、元のサイトの広告収入はゼロになります。個人ブロガーにはそんなに大きな絶対的な損失はないかもしれませんが、心理的な冲击は強いです。私が心を込めて書いたコンテンツが無料で奪われ、感謝の言葉さえなくなるのです。長い間続けば、コンテンツをオープンにしたい人は減り、ネットワーク全体の豊かさが低下します。ですから、私たちが反対しているのはAIスパイダーではなく、「何も提供せずに名前を明かさない」スパイダーです。
拾聞：多くの出版社は現在、robots.txtや選択退出メカニズムを使ってAIによるアクセスを拒否していますが、これは根本的な問題を解決できますか？
永亮：部分的にしか解決できません。robots.txtは「君子協定」のようなもので、規則を守る者は守りますが、守らない者もアクセスします。さらに、選択退出は責任をコンテンツ制作者に押し付け、すべてのコンテンツが使用できると暗黙のうちに認めていることになります。より合理的な方向は、AI企業がデータを使用する前に許可を得ることであり、ネットワーク全体の制作者が一人ずつ「アクセスしない」と宣言することではありません。
Q2：スパイダーに身元を明かすことを求めるのは間違った方向でしょうか？
拾聞：議会下院は《Stealth Bot Prohibition Act》を提案しており、ニューヨーク州にも同様の法案があります。核心的な考え方は、自動的にウェブページを訪れる場合は、身元と目的を明かさなければならず、そうでなければ最高53,000ドルの罰金が科せられるというものです。これは良い方法でしょうか？
永亮：方向が間違っています。スパイダーが誰で、データを何のために取得するかを知っているとしても、それが悪いわけではありません。多くのAI大手企業は「私が取得した」と教えてほしいと思っていますが、トラフィックや著作権収益は元の作者に戻りません。実際に害があるのは、頻繁に、破壊的で、robots.txtを守らないスパイダーです。法案は「匿名」に焦点を当てており、調査記者、セキュリティ研究者、アーカイブ作業員のスパイダーも一緒に攻撃してしまっています。これらの人々の仕事は匿名でなければならず、強制的に情報を公開すると、一部の調査は不可能になります。さらに問題なのは、多くの悪意あるスパイダーは身元を偽造することができ、結局被害を受けるのは規則を守る人々です。
拾闻：つまり、あなたの言葉では、身元の公開は「誰かわからない」問題だけを解決できるが、「私のコンテンツを奪った」問題は解決できないということですか？
永亮：その通りです。身元の透明性は名刺のようなものであり、行動の制約ではありません。また、これら2つの法案における「reasonably likely to impair」という表現は非常に曖昧で、何が損害を引き起こすか、どのように証明するかについては統一された基準がありません。執行官の裁量の余地が大きすぎると、小規模なウェブサイトはどうやって規制を守るかわかりません。小規模なサイトは弁護士を雇うことができず、誤って被害を受けた場合、最も安全な方法はスパイダーを停止することですが、それではコンテンツが発見しにくくなります。法案が「robots.txtを遵守しているか」「サーバーを過負荷にしているか」「合理的な引用をしているか」に焦点を当てるなら、より価値があります。そうでなければ、それは技術の形態を罰するだけであり、技術の乱用を罰するわけではありません。
Q3：匿名スパイダーがオープンなネットワークにとってどれほど重要ですか？
拾闻：記事には例があります。ウォールストリートジャーナルのピューリッツァー賞受賞調査では、12,000人の高級官僚から31,000件の財務情報をスパイダーで取得しました。匿名スパイダーがなければ、このような報道は不可能でしたよね？
永亮：そうです。匿名スパイダーはオープンなネットワークの基本的なツールです。学術研究では世論分析を行い、セキュリティチームでは脆弱性スキャンを行い、公益団体ではウェブページのアーカイブを行います。これらはすべてこのメカニズムに依存しています。CDTがニューヨーク州知事に宛てた手紙にはうまく書かれています：匿名化はオープンなネットワークの核心を脅かしますが、AIスパイダーがもたらす実際の損害を解決するわけではありません。ツールを禁止しても、悪人はまだ存在し、善人は先に消えてしまいます。オープンなネットワークが長年運営されてきたのは、誰の身元も透明であるからではなく、robots.txt、キャッシュルール、速度制限の暗黙の了解によるものです。今、AIスパイダーで問題が起きているため、匿名スパイダーを取り除こうとしていますが、これはまるで誰かが包丁で人を傷つけたためにキッチンの包丁をすべて回収するようなものです。
拾闻：しかし、技術が発展している今、調査記者は堂々とスパイダーを行うことができないのではないでしょうか？
永亮：現実には、多くの調査対象者が反撃します。スパイダーの身元が公開されると、相手はすぐにIPをブロックしたり、ページ構造を変更したり、さらには逆追跡を行うことができます。匿名化は悪事を行うためのツールではなく、情報源を保護し、監視権を行使する手段です。インターネットアーカイブ、学術世論プロジェクト、脆弱性報酬プラットフォームなど、どれも自動スパイダーに依存しています。この保護がなくなれば、公共の利益に関する多くの事柄は誰も手を出したくなくなります。
拾闻：では、公共の利益を保護しつつ、AI企業の無制限なスパイダーを制限する方法はありますか？
永亮：はい、重要なのは用途を区別することです。大規模モデルの訓練に使用される商用スクレイピングは、ライセンスと料金が必要です。公共の利益、学術研究、セキュリティアナリシスに使用されるスクレイピングは、保護されるべきです。一律の匿名禁止ではこの区別はできません。本当に重要なのは行動です：robots.txtを尊重しているか、サーバーをダウンさせていないか、出力に引用を含めているかどうか。これらを明確に記載することで、身元の公開よりもはるかに効果的です。
Q4：自分のサイトのロボットは敵か友か？
拾闻：最近、GEOやAI検索の可視性を実践しています。あなたのような小規模なウェブマスターにとって、ロボットトラフィックの良し悪しはどう判断すればいいですか？
永亮：私は簡単に分けています：トラフィックをもたらすAI検索の引用は友達で、無料で行われるスクレイピングは敵です。例えば、あるAI検索が回答に私のリンクを含める場合、読者がそのリンクからアクセスすると、それは良いロボットです。GEOがすべきことは、私のコンテンツがこれらの引用によって簡単にスクレイピングされるようにすることです。しかし、悪いロボットは別のタイプです：24時間連続で、サイト全体をミラーリングし、最後には出所も記載しない。今ではrobots.txtでルールを宣言し、異常なIPに対してトレースリミットを適用し、必要に応じて一時的な料金壁を設けてこれらを防ぎます。しかし、一律の法律では、私のような小規模サイトは申し立てやコンプライアンスのコストさえ支払えないかもしれません。大企業には法務チームがありますが、個人ブロガーにはありません。
拾闻：では、どのようにしてロボットが良いか悪いかを判断しますか？ログを確認すれば分かりますか？
永亮：ほとんどは分かります。良いロボットはrobots.txtを遵守し、User-Agentが明確で、アクセス頻度が適切であり、追跡可能な引用元を残します。GooglebotやBingbot、OpenAIやPerplexityのような明確に識別されたクローラーには優しく接します。悪いロボットは通常のブラウザに偽装し、User-Agentが不明瞭で、アクセス間隔が異常に短く、記事の本文ページを繰り返しスクレイピングします。さらに進んで、反向リンクと紹介トラフィックを見ます：あるAI検索が実際にアクセスをもたらす場合、それを良いロボットとして扱います。一方的なスクレイピングで、何のリターンもない場合は無料です。ツールとしては、Nginxのlimit_reqを基礎的なトレースリミットに使用し、CDNのロボット管理ルールと組み合わせ、自分で書いたログアラートを加えることで、一般的なシナリオをほぼカバーできます。
Q5：普通のコンテンツクリエイターは今、何ができるか？
拾闻：多くのライターや自メディア関係者にとって、AIクローラーに対して、すぐに実行できる対策はありますか？
永亮：第一に、robots.txtを正しく書き、クローラーに提供したくないディレクトリを明確に指定します。これが最も基本的な宣言です。第二に、アクセスログを監視し、異常な頻度のIPを見つけたらトレースリミットやブロックを行います。多くのCDNやホスティング業者がこの機能を提供しています。第三に、重要なコンテンツには短時間の料金壁や要約モードを設定し、価値のあるコンテンツが簡単に持ち去られるのを防ぎます。第四に、RSS、オリジナルタイムスタンプ、サイトマップをしっかり保持し、侵害に遭遇した場合は少なくとも証拠を残すことができます。第五に、著作権契約を適切に使用し、引用者がどの部分を引用してもよく、どの部分にはライセンスが必要かを知らせます。最後に、すべてのコンテンツを無料で公開するのではなく、開放と保護の間でバランスを取ることを学びましょう。ページの下部に簡単な許可説明を加えることもできます。これにより、規則を守るクローラーがどう行動すべきかを知り、侵害に遭遇した時にも証拠を容易に残すことができます。
拾闻：小站长ができることは実際にはたくさんありますが、これらの防御措置が正常なアクセスに影響を与える可能性はありますか？
永亮：あります。だから重要なのはバランスです。robots.txtを使ってすべてのスパイダーを禁止するのではなく、規則を破るものだけを精密に禁止するべきです。リクエスト制限も適切な閾値で設定し、一般の読者を傷つけないようにする必要があります。私の原則は、善良な人には優しく、悪い人には防御を施すことです。AIによる取得を恐れて全站をロックすることは、オープンなネットワークの本来の目的に反します。最良の状態は、コンテンツが見つけられ、引用されることができるが、無料で一括りに持ち出されることがないことです。
拾闻：つまり、AIスパイダー自体には反対ではなく、ルールのない取得には反対ということですか？
永亮：その意味です。オープンなネットワークの生命力はアクセス可能性にありますが、アクセス可能であることが略奪されることを意味するわけではありません。私は将来の法案が、頻繁な取得やrobots.txtの違反、無許可の取得など、破壊的な行為に対処することを望みます。匿名取得のような手法を一括りにすることは避けるべきです。小站长やコンテンツクリエイターにとって、引用に役立つAI検索は歓迎されますし、規則を守るスパイダーも歓迎します。しかし、私たちが求めているのは、良いロボットと悪いロボットを区別できるルールであり、単純な対処ではありません。
署名：永亮