GPTBot 被 Cloudflare WAF 拦截的检测与修复方法

2026 年 10 月 4 日，DEV Community 发布了一篇关于 GPTBot 被 Cloudflare WAF 拦截的技术文章，标题为《GPTBot 被 Cloudflare WAF 拦截？检测与修复方法》。文章描述的是站点运营者常遇到的一种情况：网站上线后，按惯例在 robots.txt 中写下「User-agent: GPTBot」和「Allow: /」，以为这样就能让 AI 搜索爬虫正常抓取；几周后去查服务器访问日志，或者纳闷自己的内容为什么始终没有被 ChatGPT Search 或 Perplexity 引用，结果发现日志里没有任何爬虫访问记录。

文章给出的判断是，问题几乎从来不在 robots.txt 本身，而多半出在请求到达源站之前的边缘安全规则或 Web 应用防火墙（WAF），是它们把 GPTBot 拦了下来。文章还介绍了如何排查爬虫是否被拦截，以及如何将其放行的方法。截至这篇报道，事件停留在该文给出的检测与放行建议层面，材料中没有 Cloudflare 或 OpenAI 方面的回应。