OpenAI、谷歌、微软、Anthropic 起草 AI 训练偏好声明

2026 年 11 月 1 日，据 IT 之家报道，OpenAI、谷歌、微软与 Anthropic 近日宣布将采用一项新标准。该标准由 Anthropic 技术负责人 Kevin Kelley 向互联网工程任务组（IETF）提出，名为“机器可读训练偏好信号草案”，并集成在网站的 robots.txt 文件中。借助这项机制，内容发布方可一次性向多家 AI 企业统一申明针对 AI 模型训练的内容使用偏好，而不必像以往那样为每家企业单独设置规则。长期以来，robots.txt 文件一直被用于告知网络爬虫哪些内容允许抓取、哪些禁止抓取，适用场景包括搜索索引、网页归档以及 AI 模型训练；目前各家 AI 爬虫持续抓取网站内容，将网页素材输入模型训练。报道中，Anthropic 已率先采纳该标准，OpenAI 计划在未来几个月内落实，谷歌和微软则预计于明年支持。

次日即 2026 年 11 月 2 日，蓝点网进一步披露了各家的具体时间表。Anthropic 似乎已经开始支持该草案；OpenAI 表示会在未来几个月内实施；谷歌计划从 2027 年年初开始提供支持，但具体时间还有待后续准备工作完成；微软则明确表示将从 2027 年 2 月 1 日起遵循该声明。按照草案说明，网站管理员只需在 robots.txt 中添加一组规则，即可声明全站内容是否允许被用于 AI 训练，并支持分目录设置偏好。需要指出的是，这一声明仅表达网站对内容用途的选择，单独设置并不会直接阻止爬虫访问网页；如果网站要限制特定爬虫抓取内容，仍需通过传统 robots.txt 规则进行配置。此外，训练内容与 AI 回答引用网页属于不同用途，微软另为自家服务提供 AI Grounding 控制，供网站决定内容是否允许在 AI 生成回答时被引用，该控制针对具体页面。值得注意的是，IT 之家报道中提到 Meta 发言人 Andy Stone 也表达了态度，但相关表述在现有材料中并不完整。目前该方案仍处于互联网草案阶段，各家将按上述时间节点陆续落地。