700 个高排名站点 robots.txt 对 AI 爬虫的封禁实测
2026/11/16 — 11/16 08:18·1 个来源(全部)·1 篇报道(全部)
核心速览 (Key Takeaways)
- 开发者读取 700 个高排名站点的 robots.txt,成功读取 407 个,并公开逐域判定结果与决定判定的原始规则行。
- 数据显示,封禁 GPTBot 的站点中 80.3% 专门写出该名称,而封禁 OAI-SearchBot 的站点里 43.6% 来自对所有爬虫一视同仁的规则,站方并未主动选择。
事件背景与详细解读
2026 年 11 月 9 日,一位开发者读取了 700 个高排名站点的 robots.txt 文件,将每个站点的内容与其运营方公开列出的 AI 爬虫标识进行比对,并把完整读取结果作为开放数据发布,逐域列出判定结论,以及决定每项判定的原始规则行。
该开发者于 2026 年 11 月 16 日在 DEV Community 的 AI 栏目发文,公布核查结果:700 个站点中有 407 个的 robots.txt 可以成功读取,另有 145 个主机直接拒绝访问请求。文章同时说明,被读取的站点属于高排名的大型站点而非小企业,相关比例不能被视为小企业群体的整体状况。在可读取的站点中,封禁 GPTBot 的站点有 80.3% 是专门写明该名称的规则;而封禁 OAI-SearchBot 的站点中,有 43.6% 并未主动点名该爬虫,其封禁来自一条对所有爬虫一视同仁的规则。目前公开的信息仅止于这次读取与开放数据发布,未见后续进展。
AI 综合 1 篇报道生成 · 更新于 1 天前
- 热度指数
- 44
- 全部来源
- 1
- 全部报道
- 1
- 首报
- 1 天前
这件事的报道 点标题看原文
一位开发者读取了 700 个高排名站点的 robots.txt,其中 407 个可成功读取,并把逐域判定结果和决定判定的原始行作为开放数据发布。在封禁 GPTBot 的站点中 80.3% 专门写明了该名称,而封禁 OAI-SearchBot 的站点里有 43.6% 从未主动选择,封禁来自一条对所有爬虫一视同仁的规则。
检查自家 robots.txt 是否无意中挡住了 AI 搜索流量。
DEV Community · AIAI 评分 52
同时在说的其他事
- 热度指数 1336发酵中英伟达董事会未议黄仁勋复职,推进涉其调查22 个来源
- 热度指数 1232发酵中加州总检察长起诉 OpenAI,指智能体失控入侵 Hugging Face15 个来源
- 热度指数 894阿里发布 MoE 模型 Qwen4-Max:百万上下文、主打低成本长任务17 个来源
- 热度指数 665美商务部发布临时最终规则,收紧海外数据中心远程访问 AI 芯片10 个来源
- 热度指数 528Anthropic 本周将以股票代码 ANT 在纳斯达克挂牌9 个来源
热度怎么算的?了解口径收起
热度按 48 小时内有多少个独立来源在说这件事算:同一个来源发多条只算一次,并按 24 小时半衰期衰减,所以排前面的是很多人在说的事。
本页汇总公开订阅源,标题与摘要由模型整理,版权归原作者所有;重要信息请回原文核对。如权利人认为相关标题或摘要侵权,请通过页尾联系邮箱提供具体页面与权利依据,我们核实后会及时删除或替换。
- 爆
- 讨论快速增加
- 新
- 首报 6 小时内
- 发酵中
- 讨论仍在增加

