AI 训练退出信号写进 robots.txt：站长该怎么准备

未分类2小时前发布 gsjqwyl

1 0 0

10 月 30 日，OpenAI 在官网发文，说会遵守 robots.txt 里一个表达”内容能否用于 AI 训练”的通用信号。同一天 The Verge 报道，Google、微软、Anthropic 也表态会采用这套标准。

一句话概括：以前你要挨家告诉 AI 公司”别拿我的内容训练”，以后有望写一条规则就对几家同时生效。

发生了什么

把两篇报道的信息合在一起看：

信号是什么：一个”策略令牌”（policy token），写在网站的 robots.txt 文件里，用来表达对内容用于生成式 AI 训练的偏好。它来自互联网工程任务组（IETF）的 AI Preferences 工作组，由 Anthropic 的标准技术负责人 Kevin Kelley 提出。
谁表态支持：OpenAI、Google、微软、Anthropic 四家都说，识别到这个令牌后会限制自家 AI 爬虫对该站点的访问。
落地时间不一样：Anthropic 已经采用；Google 和微软计划明年支持；OpenAI 说在”未来几个月”内实现，届时会再发一份更新说明具体做法。
Meta 的态度：Meta 传播负责人 Andy Stone 表示支持这个方向，但没说 Meta 会不会遵守。
和搜索的关系：微软明确说，不管网站怎么设置，都照样出现在 Bing 搜索结果里；Google 也有类似的控制，让网站分开决定内容是否用于 AI 搜索功能、是否用于训练，不影响普通搜索可见性。

OpenAI 的原文还特别强调了一点：新信号不替代它现有的 robots.txt 爬虫控制，原来的规则继续有效。

为什么值得关注

第一，维护成本会降下来。 现在想拒绝 AI 训练，站长得弄清每家爬虫叫什么，再分别写规则，漏一个就白写。统一信号表达的是”我的意愿”，而不是”我拦了谁”。

第二，这是头部厂商第一次一起认一个标准。 此前出版商手里的工具比较零散：有像 Really Simple Licensing（RSL）这样让网站对爬虫收费的方案，也有 Cloudflare 默认屏蔽 AI 爬虫的做法。这些都有用，但都不是 AI 公司自己承诺遵守的统一信号。这次四家同时表态，至少在”怎么说不”这件事上有了共同语言。

第三，训练和搜索开始被拆开对待。 微软和 Google 都在强调，退出训练不等于从搜索里消失。这对站长很关键：很多人不愿意内容被拿去训练，但也不想因此丢掉搜索流量。以前这两件事经常绑在一起，现在有了分开选择的空间。

不过也要看清它的边界：这是一项自愿性举措，靠的是厂商自觉遵守。Meta 只表态支持、没承诺执行，其他没表态的公司更不用说。它能解决”守规矩的大厂”这部分问题，解决不了不守规矩的爬虫。