分析：屏蔽 GPTBot 不会让 ChatGPT 搜索忽略你
2026/11/06 — 11/06 21:15·1 个来源（全部）·1 篇报道（全部）
核心速览 (Key Takeaways)
- 一篇分析把 AI 爬虫分为两类：GPTBot、ClaudeBot 抓页面用于训练模型，OAI-SearchBot、PerplexityBot 则实时抓页面回答用户并标注来源。
- 作者指出屏蔽训练爬虫不会让页面从 AI 搜索答案中消失，屏蔽引用类爬虫才会；
- 其此前的审计结论相反，已在书面撤回后重做评分，并给出逐类爬虫的自测方法。
事件背景与详细解读
2026 年 11 月 6 日，DEV Community 上发布的一篇分析文章指出，屏蔽 GPTBot 并不会让网站从 ChatGPT 搜索的答案中消失。作者把 AI 爬虫分成两类：GPTBot 和 ClaudeBot 属于训练爬虫，抓取页面用于训练模型；OAI-SearchBot、ChatGPT-User、PerplexityBot 和 Perplexity-User 则属于搜索与引用爬虫，会实时抓取页面来回答用户，并标注来源。
文章结论是，屏蔽训练爬虫不会让页面从 AI 搜索答案中消失，屏蔽引用类爬虫才会。作者还称，此前一份自家审计得出了相反结论，该审计已在书面撤回后重新评分。
文中另附有逐类爬虫的自测方法，帮助站点辨别不同爬虫的行为。目前该讨论仅此一篇报道，尚无后续验证或进展。
AI 综合 1 篇报道生成 · 更新于 2 小时前
相关 AI 工具
- 热度指数
- 93
- 全部来源
- 1
- 全部报道
- 1
- 首报
- 3 小时前
这件事的报道 点标题看原文
一篇分析把 AI 爬虫分成两类：GPTBot、ClaudeBot 抓页面用于训练模型，OAI-SearchBot、PerplexityBot 则实时抓页面来回答用户并标注来源。屏蔽训练爬虫不会让页面从 AI 搜索答案中消失，屏蔽引用类爬虫才会；作者称此前一份自家审计得出相反结论，已在书面撤回后重做评分，文中给出逐类爬虫的自测方法。
决定要不要屏蔽 AI 爬虫前先分清两类
DEV Community · AIAI 评分 67
同时在说的其他事
- 热度指数 136ChatGPT 被指帮用户妻子策划毒杀，用户起诉 OpenAI2 个来源
- 热度指数 52澳大利亚高校扩大 ChatGPT 访问权限以培养 AI 人才1 个来源
- 热度指数 991OpenAI 开放 GPT-6 Cyber 并公布其访问与定价16 个来源
- 热度指数 826发酵中Claude 向美区 Pro、Max、Ultra 用户推送 Personal Finance13 个来源
- 热度指数 681爆Inkling 2 Small 发布，传公司以 400 亿美元估值融资9 个来源
热度怎么算的？了解口径收起
热度按 48 小时内有多少个独立来源在说这件事算：同一个来源发多条只算一次，并按 24 小时半衰期衰减，所以排前面的是很多人在说的事。
本页汇总公开订阅源，标题与摘要由模型整理，版权归原作者所有；重要信息请回原文核对。如权利人认为相关标题或摘要侵权，请通过页尾联系邮箱提供具体页面与权利依据，我们核实后会及时删除或替换。
- 爆
- 讨论快速增加
- 新
- 首报 6 小时内
- 发酵中
- 讨论仍在增加