开发者发布 Python 脚本，按路径检查 robots.txt 对 AI 爬虫放行

2026 年 11 月 3 日，DEV Community 的 AI 板块刊登了一名作者的文章，介绍了一个仅用 Python 标准库写成的脚本，可针对任意 URL 路径检查 robots.txt 对 GPTBot、CCBot 等 AI 爬虫的放行或屏蔽结果。文章称，多数 robots.txt 是逐步堆积起来的：有人在 2023 年加上 GPTBot 屏蔽规则，又有人加入通配符规则，因此如今很难确定到底哪些 AI 爬虫能抓取网站的哪些部分。

对从事 GEO 或 AEO 的人来说，这关系到页面能否被检索：被屏蔽的搜索爬虫意味着页面无法进入 AI 答案的检索范围，而被屏蔽的训练爬虫往往属于有意选择，需要分清两者。作者给出的脚本即可按路径回答这一查询，且只使用标准库。

作者还提醒，使用时应分别检查首页和重要栏目，因为同一爬虫可能被允许抓取首页，却在博客等目录中被屏蔽。