OpenAI、谷歌、微軟、Anthropic 起草 AI 訓練偏好宣告

2026 年 11 月 1 日，據 IT 之家報道，OpenAI、谷歌、微軟與 Anthropic 近日宣佈將採用一項新標準。該標準由 Anthropic 技術負責人 Kevin Kelley 向網際網路工程任務組（IETF）提出，名為“機器可讀訓練偏好訊號草案”，並整合在網站的 robots.txt 檔案中。藉助這項機制，內容釋出方可一次性向多家 AI 企業統一申明針對 AI 模型訓練的內容使用偏好，而不必像以往那樣為每家企業單獨設定規則。長期以來，robots.txt 檔案一直被用於告知網路爬蟲哪些內容允許抓取、哪些禁止抓取，適用場景包括搜尋索引、網頁歸檔以及 AI 模型訓練；目前各家 AI 爬蟲持續抓取網站內容，將網頁素材輸入模型訓練。報道中，Anthropic 已率先採納該標準，OpenAI 計劃在未來幾個月內落實，谷歌和微軟則預計於明年支援。

次日即 2026 年 11 月 2 日，藍點網進一步披露了各家的具體時間表。Anthropic 似乎已經開始支援該草案；OpenAI 表示會在未來幾個月內實施；谷歌計劃從 2027 年年初開始提供支援，但具體時間還有待後續準備工作完成；微軟則明確表示將從 2027 年 2 月 1 日起遵循該宣告。按照草案說明，網站管理員只需在 robots.txt 中新增一組規則，即可宣告全站內容是否允許被用於 AI 訓練，並支援分目錄設定偏好。需要指出的是，這一宣告僅表達網站對內容用途的選擇，單獨設定並不會直接阻止爬蟲訪問網頁；如果網站要限制特定爬蟲抓取內容，仍需通過傳統 robots.txt 規則進行配置。此外，訓練內容與 AI 回答引用網頁屬於不同用途，微軟另為自家服務提供 AI Grounding 控制，供網站決定內容是否允許在 AI 生成回答時被引用，該控制針對具體頁面。值得注意的是，IT 之家報道中提到 Meta 發言人 Andy Stone 也表達了態度，但相關表述在現有材料中並不完整。目前該方案仍處於網際網路草案階段，各家將按上述時間節點陸續落地。