分析：遮蔽 GPTBot 不會讓 ChatGPT 搜尋忽略你
2026/11/06 — 11/06 21:15·1 個來源（全部）·1 篇報道（全部）
核心速覽 (Key Takeaways)
- 一篇分析把 AI 爬蟲分為兩類：GPTBot、ClaudeBot 抓頁面用於訓練模型，OAI-SearchBot、PerplexityBot 則即時抓頁面回答使用者並標註來源。
- 作者指出遮蔽訓練爬蟲不會讓頁面從 AI 搜尋答案中消失，遮蔽引用類爬蟲才會；
- 其此前的審計結論相反，已在書面撤回後重做評分，並給出逐類爬蟲的自測方法。
事件背景與詳細解讀
2026 年 11 月 6 日，DEV Community 上釋出的一篇分析文章指出，遮蔽 GPTBot 並不會讓網站從 ChatGPT 搜尋的答案中消失。作者把 AI 爬蟲分成兩類：GPTBot 和 ClaudeBot 屬於訓練爬蟲，抓取頁面用於訓練模型；OAI-SearchBot、ChatGPT-User、PerplexityBot 和 Perplexity-User 則屬於搜尋與引用爬蟲，會即時抓取頁面來回答使用者，並標註來源。
文章結論是，遮蔽訓練爬蟲不會讓頁面從 AI 搜尋答案中消失，遮蔽引用類爬蟲才會。作者還稱，此前一份自家審計得出了相反結論，該審計已在書面撤回後重新評分。
文中另附有逐類爬蟲的自測方法，幫助站點辨別不同爬蟲的行為。目前該討論僅此一篇報道，尚無後續驗證或進展。
AI 綜合 1 篇報道生成 · 更新於 2 小時前
相關 AI 工具
- 熱度指數
- 93
- 全部來源
- 1
- 全部報道
- 1
- 首報
- 3 小時前
這件事的報道 點標題看原文
一篇分析把 AI 爬蟲分成兩類：GPTBot、ClaudeBot 抓頁面用於訓練模型，OAI-SearchBot、PerplexityBot 則即時抓頁面來回答使用者並標註來源。遮蔽訓練爬蟲不會讓頁面從 AI 搜尋答案中消失，遮蔽引用類爬蟲才會；作者稱此前一份自家審計得出相反結論，已在書面撤回後重做評分，文中給出逐類爬蟲的自測方法。
決定要不要遮蔽 AI 爬蟲前先分清兩類
DEV Community · AIAI 評分 67
同時在說的其他事
- 熱度指數 136ChatGPT 被指幫使用者妻子策劃毒殺，使用者起訴 OpenAI2 個來源
- 熱度指數 52澳大利亞高校擴大 ChatGPT 訪問許可權以培養 AI 人才1 個來源
- 熱度指數 991OpenAI 開放 GPT-6 Cyber 並公佈其訪問與定價16 個來源
- 熱度指數 826發酵中Claude 向美區 Pro、Max、Ultra 使用者推送 Personal Finance13 個來源
- 熱度指數 681爆Inkling 2 Small 釋出，傳公司以 400 億美元估值融資9 個來源
熱度怎麼算的？瞭解口徑收起
熱度按 48 小時內有多少個獨立來源在說這件事算：同一個來源發多條只算一次，並按 24 小時半衰期衰減，所以排前面的是很多人在說的事。
本頁彙總公開訂閱源，標題與摘要由模型整理，版權歸原作者所有；重要資訊請回原文核對。如權利人認為相關標題或摘要侵權，請通過頁尾聯絡郵箱提供具體頁面與權利依據，我們核實後會及時刪除或替換。
- 爆
- 討論快速增加
- 新
- 首報 6 小時內
- 發酵中
- 討論仍在增加