拾闻对谈 036｜AI 爬虫与坏机器人：开放网络还能撑多久？

拾闻对谈：热点发布 × 技术判断 × 实用建议。

开场小对谈

拾闻：这周 Tech Policy Press 有篇稿子说，AI 爬虫把新闻网站和博客折腾得够呛。国会和纽约州还打算立法，要求所有自动访问网页的机器人「自报家门」。你怎么看？

永亮：我作为一个经营个人博客和小站点的人，第一反应不是「终于有人管了」，而是「这管得有点偏」。真正伤人的不是爬虫这种技术本身，而是那些只拿东西、不给署名、不给回链，甚至把你整站镜像的抓取。如果立法只是让爬虫报个名字，那等于把门锁换成了玻璃门，好人坏人都能推开。真正应该约束的，是抓取的行为和后果，而不是让爬虫填一张申请表。

Q1：AI 爬虫真的已经把开放网络压垮了吗？

拾闻：源文说，新闻机构被大量抓取内容训练 AI，AI 搜索和聊天机器人又反过来抢走广告和流量。你作为一个也在网上写东西的人，有切身感受吗？

永亮：有。我做技术内容十多年了，以前站点流量主要靠搜索，现在一部分读者直接被 AI 搜索的摘要截走。新闻网站的感受只会更强烈，因为他们的商业模式是广告，流量被截走，广告收入就跟着下滑。不过，流量被截只是表象，更深的焦虑是内容被白嫖。你想，辛辛苦苦写的文章被拿去训练模型，回头模型在别处复述你的观点，既不署名也不引来源，这跟传统搜索引擎给一条链接完全是两码事。传统搜索是把人送到你门口，这种抓取是把你的东西拆走再造一座房子。

拾闻：那这种压力对新闻机构和个人博主来说，有什么不同？

永亮：新闻机构面对的是规模化损失，一篇报道可能被上亿用户通过 AI 问答看到，但原站点的广告收益为零。个人博主可能没有这么大的绝对损失，但心理冲击很强：我用心写的内容，被人无成本拿走，连句谢谢都没有。久而久之，愿意开放内容的人会变少，整个网络的丰富度就下降了。所以我们不是反对 AI 爬虫，而是反对「拿了东西还不认账」的爬虫。

拾闻：很多出版商现在用 robots.txt 或选择退出机制来拒绝 AI 训练抓取，这能解决根本问题吗？

永亮：只能部分缓解。 robots.txt 是一种君子协议，守规矩的会遵守，不守规矩的照样抓。更何况，选择退出把举证责任推给了内容创作者，等于默认所有内容都可以被用，除非你站出来说不。更合理的方向应该是：AI 公司在用数据之前先取得授权，而不是让全网创作者一个个去声明不要抓。

Q2：要求爬虫披露身份，是不是治错了方向？

拾闻：国会众议院提出了《Stealth Bot Prohibition Act》，纽约州也有个类似法案。核心思路是：只要自动访问网页，就得说明身份和用途，不然最高罚 53,000 美元。这会是个好办法吗？

永亮：方向不太对。知道爬虫是谁、拿数据干嘛，不等于它就没害。很多 AI 大厂巴不得告诉你「就是我抓的」，但流量和版权收益照样回不到原作者手里。真正有害的反而是那些高频、破坏性、不遵守 robots.txt 的抓取。法案把重点放在「匿名」上，等于把调查记者、安全研究员、档案工作者的爬虫也一起打击了。这些人的工作需要匿名，一旦强制披露，有些调查就搞不成了。更麻烦的是，很多恶意爬虫完全可以伪造身份，最后受伤的还是守规矩的人。

拾闻：那按你的说法，身份披露最多只能解决「不知道是谁」的问题，却解决不了「它拿走了我的内容」的问题？

永亮：没错。身份透明更像是一张名片，而不是行为的约束。而且这两个法案里「reasonably likely to impair」这种措辞非常模糊，什么算损害、怎么举证，都没有统一标准。如果执法者自由裁量空间太大，小站长根本不知道怎么合规。小站点请不起律师，一旦被误伤，最安全的做法就是关闭抓取，那反而让内容更难被发现。如果法案能把重点放在「是否遵守 robots.txt」「是否造成服务器过载」「是否给出合理引用」上，会更有价值。否则，它只是在惩罚一种技术形态，而不是在惩罚滥用技术的行为。

Q3：匿名抓取对开放网络到底有多重要？

拾闻：文章举了个例子，华尔街日报那次普利策获奖调查，靠爬虫从 12,000 名高级官员那里抓了 31,000 份财务披露。如果没有匿名爬虫，这种报道就搞不成了？

永亮：对，匿名抓取是开放网络的基本工具。学术做舆情分析、安全人员做漏洞扫描、公益机构做网页存档，都依赖这个机制。CDT 给纽约州州长的信里说得好：deanonymization 威胁了开放网络的核心，却未必能解决 AI 抓取带来的实际伤害。把工具禁掉，坏人还在，好人先没了。开放网络这么多年能运转，靠的不是谁的身份都透明，而是一套 robots.txt、缓存规则、速率限制的默契。现在因为 AI 抓取闹得凶，就想把匿名抓取这一层抽掉，等于因为有人拿菜刀伤人，就把厨房里的刀都收走。

拾闻：可是有人会问，现在技术这么发达，调查记者不能光明正大地抓吗？

永亮：现实中很多调查对象会反制。一旦你的爬虫身份公开，对方可以立刻封 IP、改页面结构、甚至反向追踪。匿名不是作恶的工具，而是保护信息来源和监督权的一种手段。像互联网档案馆、学术舆情项目、漏洞赏金平台，哪一个不是依赖自动化抓取？如果失去这层保护，很多关于公共利益的事情就没人愿意去碰了。

拾闻：那有没有办法既保护公共利益，又限制 AI 公司的无节制抓取？

永亮：有，关键是区分用途。用于训练大模型的商业抓取，应该走授权和付费；用于公共利益、学术研究、安全审计的抓取，应该受到保护。一刀切的匿名禁令做不到这种区分。真正该管的是行为：你有没有尊重 robots.txt，有没有造成服务器瘫痪，有没有在输出里给出引用。把这些写清楚，比披露身份管用得多。

Q4：你自己站点的机器人，是敌是友？

拾闻：你最近在实践 GEO、AI 搜索可见性。对你这样的小站长，机器人流量到底怎么分好坏？

永亮：我分得很简单：带流量的 AI 搜索引用是朋友，白嫖式抓取是敌人。比如有些 AI 搜索会在答案里放我的链接，读者顺着链接点进来，这就是好机器人。 GEO 要做的事，就是让我的内容更容易被这些引用抓到。但坏机器人是另外一种：24 小时不间断、把整个站都镜像一遍、最后连个来源都不写的。我现在会用 robots.txt 声明规则、对异常 IP 限流、必要时上临时付费墙来挡后者。可如果立法一刀切，像我这样的小站点可能连申诉和合规成本都付不起。大厂有法务团队，个人博主没有。

拾闻：那你怎么判断一个机器人是好是坏？看日志就能分辨吗？

永亮：大部分能看出来。好机器人会遵守 robots.txt，User-Agent 清楚，访问频率合理，而且会留下可追踪的引用来源。像 Googlebot、Bingbot，以及 OpenAI、Perplexity 这类有明确标识的爬虫，我会比较友好。坏机器人常常伪装成普通浏览器，User-Agent 一大片，访问间隔异常短，专门挑文章正文页反复抓。再进一步，我会看反向链接和引荐流量：如果某个 AI 搜索给我带来真实访问，我就把它当好机器人；如果只是单方面抓取、没有任何回流，那就是白嫖。工具上，我用 Nginx 的 limit_req 做基础限流，配合 CDN 的机器人管理规则，再加上自己写的日志告警，基本能覆盖常见场景。

Q5：普通内容创作者现在能做什么？

拾闻：对于大多数写作者、自媒体人来说，面对 AI 爬虫，有哪些立刻能用的做法？

永亮：第一，robots.txt 该写就写，把明确不想给爬虫的目录标出来，这是最基本的声明；第二，监控访问日志，看到异常高频 IP 就限流或封禁，很多 CDN 和主机商都提供这个功能；第三，重要内容可以设置短时付费墙或摘要模式，让有价值的内容不轻易被整篇搬走；第四，保留好自己的 RSS、原创时间戳和 sitemap，真遇到侵权至少能举证；第五，合理使用版权协议，让引用者知道哪些可以引用、哪些需要授权。最后，别把所有内容都免费敞开，学会在开放和保护之间取平衡。也可以在页面底部加一份简单的授权说明，让守规矩的爬虫知道该怎么做，遇到侵权时也更容易举证。

拾闻：听起来小站长能做的其实很多，但会不会因为这些防护措施，反而影响正常访问？

永亮：会，所以关键在度。 robots.txt 不要封死所有爬虫，而是精准封掉那些不守规矩的；限流也要设置在合理阈值，别误伤普通读者。我的原则是对好人友好、对坏人设防。如果因为怕 AI 抓取就把整站锁起来，那也违背了开放网络的初衷。最好的状态是：内容能被找到、能被引用，但不能被无成本地整批搬走。

拾闻：所以你并不反对 AI 爬虫本身，而是反对没有规则的抓取？

永亮：是这个意思。开放网络的生命力在于可访问，但可访问不等于被掠夺。我希望未来的法案能针对破坏性行为，比如高频、不遵守 robots.txt、不署名的抓取，而不是把匿名抓取这种工具一棍子打死。对小站长和内容创作者来说，我们欢迎能带来引用的 AI 搜索，也欢迎守规矩的爬虫；但我们需要的是一个能区分好坏机器人的规则，而不是一封了事。

---

署名：永亮