開發者釋出 Python 指令碼，按路徑檢查 robots.txt 對 AI 爬蟲放行

2026 年 11 月 3 日，DEV Community 的 AI 板塊刊登了一名作者的文章，介紹了一個僅用 Python 標準庫寫成的指令碼，可針對任意 URL 路徑檢查 robots.txt 對 GPTBot、CCBot 等 AI 爬蟲的放行或遮蔽結果。文章稱，多數 robots.txt 是逐步堆積起來的：有人在 2023 年加上 GPTBot 遮蔽規則，又有人加入萬用字元規則，因此如今很難確定到底哪些 AI 爬蟲能抓取網站的哪些部分。

對從事 GEO 或 AEO 的人來說，這關係到頁面能否被檢索：被遮蔽的搜尋爬蟲意味著頁面無法進入 AI 答案的檢索範圍，而被遮蔽的訓練爬蟲往往屬於有意選擇，需要分清兩者。作者給出的指令碼即可按路徑回答這一查詢，且只使用標準庫。

作者還提醒，使用時應分別檢查首頁和重要欄目，因為同一爬蟲可能被允許抓取首頁，卻在部落格等目錄中被遮蔽。