研究:屏蔽 AI 爬虫的站点被 AI 引用率低 18.6 个百分点
2026/11/20 — 11/20 16:19·1 个来源(全部)·1 篇报道(全部)
核心速览 (Key Takeaways)
- 一项 2026 年 10 月的预注册校准研究从 Tranco 列表中抽取 341 个页面,检查其 robots.txt 是否屏蔽 27 种 AI 爬虫,再向 Perplexity Sonar 查询这些页面是否进入引用来源。
- 结果显示,至少屏蔽一种 AI 爬虫的站点被引用比例低 18.6 个百分点,而作者原本想验证的 GEO 分数并不能预测引用。
事件背景与详细解读
2026 年 10 月,一项预注册校准研究开展,研究者抽取 Tranco 列表中的 341 个页面,检查这些页面的 robots.txt 是否屏蔽了 27 种 AI 爬虫,并向 Perplexity Sonar 查询这些页面是否出现在其引用来源中。该研究于 2026 年 11 月 20 日由 DEV Community · AI 发布。
研究原本想验证的,是 GEO 分数能否预测页面被 AI 引用的情况,结果发现 GEO 分数并不具备这种预测能力。研究同时记录了一个此前未预期会如此重要的变量,即站点是否在 robots.txt 中至少屏蔽一种 AI 爬虫。
研究数据显示,从未针对 GPTBot 编写 Disallow 规则、自认没有问题的站点中,有 25.8% 的情况与这一判断不符;至少屏蔽一个 AI 爬虫的站点,被 AI 引用的比例低 18.6 个百分点。目前,该研究仅公布了上述结论,GEO 分数与 AI 引用之间关系的验证仍停留在不成立的阶段,未见后续进展。
AI 综合 1 篇报道生成 · 更新于 2 天前
- 热度指数
- 29
- 全部来源
- 1
- 全部报道
- 1
- 首报
- 2 天前
这件事的报道 点标题看原文
一项 2026 年 10 月的预注册校准研究抽取 Tranco 列表中的 341 个页面,检查其 robots.txt 是否屏蔽 27 种 AI 爬虫,并向 Perplexity Sonar 查询这些页面是否出现在引用来源中。结果显示,至少屏蔽一个 AI 爬虫的站点被引用比例低 18.6 个百分点,而作者原本要验证的 GEO 分数并不能预测引用。
站长可据此检查 robots.txt 是否挡住了 AI 爬虫
DEV Community · AIAI 评分 53
同时在说的其他事
- 热度指数 1143发酵中Anthropic 上市首周市值达 1.6 万亿美元,IPO 募资 935 亿美元21 个来源
- 热度指数 1011Anthropic 数学家称与 Claude 完成广义黎曼猜想形式化21 个来源
- 热度指数 622Anthropic 行使超额配售权,IPO 募资达 935 亿美元20 个来源
- 热度指数 596发酵中Thinking Machines Lab 开源 Inkling 2 Mini,模型卡推荐 32GB 内存10 个来源
- 热度指数 490发酵中SEC 调查英伟达会计问题,股价连跌市值缩水9 个来源
热度怎么算的?了解口径收起
热度按 48 小时内有多少个独立来源在说这件事算:同一个来源发多条只算一次,并按 24 小时半衰期衰减,所以排前面的是很多人在说的事。
本页汇总公开订阅源,标题与摘要由模型整理,版权归原作者所有;重要信息请回原文核对。如权利人认为相关标题或摘要侵权,请通过页尾联系邮箱提供具体页面与权利依据,我们核实后会及时删除或替换。
- 爆
- 讨论快速增加
- 新
- 首报 6 小时内
- 发酵中
- 讨论仍在增加

