開發者自查 AI 爬蟲能否抓取網站：八種全部返回 200

2026 年 9 月 30 日，一位開發者對自己的站點做了一次 AI 爬蟲抓取自查：按每個爬蟲的名字逐一請求頁面，再讀取返回的狀態碼，以此判斷 ChatGPT、Claude、Perplexity 等背後的爬蟲能否取到頁面。測試一共用了八個爬蟲名，八個請求全部返回 200，也就是說站點上沒有設定把這些機器擋在門外。

這份自查記錄在 2026 年 10 月 3 日由 DEV Community 的 AI 欄目釋出，原文首發於 yappatyih.com。作者把結論放在最前面：八個爬蟲名，八個 200。

同一輪檢查真正發現的問題在別處：robots.txt 裡有一行 Disallow: /og/，把每一頁的預覽圖都遮蔽掉了。也就是說，這次自查沒有測出爬蟲被攔，但順帶查出了預覽圖被 robots.txt 遮蔽這一項。