HaiAI123

全球AI工具精選導航

行業動態
持平

多數 AI 爬蟲只讀 HTML 不執行 JS,需自查頁面

2026/11/15 — 11/15 23:17·1 個來源(全部)·1 篇報道(全部)

核心速覽 (Key Takeaways)

  • 一篇技術文章指出,多數較新的 AI 爬蟲只抓取 HTML、不執行 JavaScript,因此靠指令碼渲染的價格表、評論元件和標籤頁內容不會出現在它們讀到的文本里;
  • Google 自家 AI 功能因沿用其渲染管線而是例外。
  • 作者引用 Vercel 2024 年底的全網爬蟲流量觀測,並給出一個一分鐘自查指令碼。

事件背景與詳細解讀

2026 年 11 月 15 日 23 時 01 分,DEV Community 的 AI 欄目釋出了一篇題為《Chrome 裡看著正常的頁面,GPTBot 實際拿到什麼》的文章,討論 AI 爬蟲抓取網頁時的實際所見。文章指出,多數較新的 AI 爬蟲只抓取 HTML、不執行 JavaScript,因此靠指令碼渲染的價格表、評論元件和客戶端標籤頁內容,不會出現在它們讀到的文本里。

文章同時說明,Google 自家的 AI 功能因沿用其渲染管線屬於例外,即像 Googlebot 那樣先抓取 HTML、再在無頭瀏覽器中執行 JavaScript、最後對渲染結果進行索引,因此能看到指令碼渲染後的內容。作者在文中引用了 Vercel 於 2024 年底對全網爬蟲流量的觀測作為依據,並給出一個可在一分鐘內自查頁面的小指令碼,供網站運營者核查自家頁面在 AI 爬蟲視角下的實際內容。

目前公開材料中僅有這一篇報道,相關討論停留在這篇文章提出的技術現象與自查方法上,尚無其他後續進展。

AI 綜合 1 篇報道生成 · 更新於 2 天前

updream
24 小時熱度熱度指數 34 · 峰值 67 · 23 小時前
24 小時前現在

這件事的報道 點標題看原文

11月15日
  1. 文章指出多數較新的 AI 爬蟲只抓取 HTML、不執行 JavaScript,因此靠指令碼渲染的價格表、評論元件和客戶端標籤頁內容不會出現在它們讀到的文本里;Google 自家的 AI 功能因沿用其渲染管線是例外。作者引用 Vercel 在 2024 年底對全網爬蟲流量的觀測,並給出一個一分鐘自查頁面的小指令碼。

    一分鐘自查你的頁面 AI 爬蟲能不能讀到

    DEV Community · AIAI 評分 60

同時在說的其他事

熱度怎麼算的?瞭解口徑

熱度按 48 小時內有多少個獨立來源在說這件事算:同一個來源發多條只算一次,並按 24 小時半衰期衰減,所以排前面的是很多人在說的事。

本頁彙總公開訂閱源,標題與摘要由模型整理,版權歸原作者所有;重要資訊請回原文核對。如權利人認為相關標題或摘要侵權,請通過頁尾聯絡郵箱提供具體頁面與權利依據,我們核實後會及時刪除或替換。

爆
討論快速增加
新
首報 6 小時內
發酵中
討論仍在增加

回 AI 行業動態榜 →