开发者自查 AI 爬虫能否抓取网站：八种全部返回 200

2026 年 9 月 30 日，一位开发者对自己的站点做了一次 AI 爬虫抓取自查：按每个爬虫的名字逐一请求页面，再读取返回的状态码，以此判断 ChatGPT、Claude、Perplexity 等背后的爬虫能否取到页面。测试一共用了八个爬虫名，八个请求全部返回 200，也就是说站点上没有设置把这些机器挡在门外。

这份自查记录在 2026 年 10 月 3 日由 DEV Community 的 AI 栏目发布，原文首发于 yappatyih.com。作者把结论放在最前面：八个爬虫名，八个 200。

同一轮检查真正发现的问题在别处：robots.txt 里有一行 Disallow: /og/，把每一页的预览图都屏蔽掉了。也就是说，这次自查没有测出爬虫被拦，但顺带查出了预览图被 robots.txt 屏蔽这一项。