GPTBot 被 Cloudflare WAF 攔截的檢測與修復方法

2026 年 10 月 4 日，DEV Community 釋出了一篇關於 GPTBot 被 Cloudflare WAF 攔截的技術文章，標題為《GPTBot 被 Cloudflare WAF 攔截？檢測與修復方法》。文章描述的是站點運營者常遇到的一種情況：網站上線後，按慣例在 robots.txt 中寫下「User-agent: GPTBot」和「Allow: /」，以為這樣就能讓 AI 搜尋爬蟲正常抓取；幾週後去查伺服器訪問日誌，或者納悶自己的內容為什麼始終沒有被 ChatGPT Search 或 Perplexity 引用，結果發現日誌裡沒有任何爬蟲訪問記錄。

文章給出的判斷是，問題幾乎從來不在 robots.txt 本身，而多半出在請求到達源站之前的邊緣安全規則或 Web 應用防火牆（WAF），是它們把 GPTBot 攔了下來。文章還介紹瞭如何排查爬蟲是否被攔截，以及如何將其放行的方法。截至這篇報道，事件停留在該文給出的檢測與放行建議層面，材料中沒有 Cloudflare 或 OpenAI 方面的回應。