教程：網頁轉幹淨 Markdown 為 RAG 省約九成 token
2026/11/06 — 11/06 14:18·1 個來源（全部）·1 篇報道（全部）
核心速覽 (Key Takeaways)
- DEV Community 一篇教程介紹如何在 Node.js 中把網頁轉換為乾淨的 Markdown，再送入 RAG 流程或向量庫。
- 作者指出原始 HTML 中的導航、廣告、指令碼和 cookie 提示會白白消耗數萬 token 並干擾模型，轉換後可節省約 90% 的 LLM token。
事件背景與詳細解讀
2026 年 11 月 6 日 13:57，DEV Community 的 AI 板塊釋出了一篇教程，介紹如何在 Node.js 中把網頁轉換成乾淨的 Markdown，再送入 RAG 流程或向量庫。作者稱，原始 HTML 中大量導航、廣告、指令碼和 cookie 提示會白白消耗數萬 token 並干擾模型；文中以常見的新聞文章或文件頁面為例，指出這類頁面大小通常在 500 KB 到 1 MB 之間，其中大部分內容是臃腫的導航選單、廣告、追蹤指令碼和 cookie 橫幅。
作者表示，把原始 HTML 直接送入 LLM 的上下文視窗會燒掉數萬 token 並干擾模型，而按該教程的方法轉換後，可節省約 90% 的 LLM token。目前公開材料只覆蓋到這篇教程的釋出，尚無後續進展或第三方驗證的資訊。
AI 綜合 1 篇報道生成 · 更新於 1 小時前
- 熱度指數
- 95
- 全部來源
- 1
- 全部報道
- 1
- 首報
- 2 小時前
這件事的報道 點標題看原文
一篇 DEV Community 教程介紹如何在 Node.js 中把網頁轉換成乾淨的 Markdown，再送入 RAG 流程或向量庫。作者稱原始 HTML 中大量導航、廣告、指令碼和 cookie 提示會白白消耗數萬 token 並干擾模型，轉換後可節省約 90% 的 LLM token。
可直接照搬的抓取清洗做法，省 token 也提準確率
DEV Community · AIAI 評分 54
同時在說的其他事
- 熱度指數 1147發酵中OpenAI 開放 GPT-6 Cyber 並公佈其訪問與定價15 個來源
- 熱度指數 855發酵中Gemini Omni 1.2 Flash 上線 API 並擴充套件影片到 30 秒11 個來源
- 熱度指數 647Claude 推出 Personal Finance，經 Plaid 只讀連線銀行賬戶9 個來源
- 熱度指數 635發酵中OpenAI 應對資料中心爭議並推動承諾立法10 個來源
- 熱度指數 529騰訊混元 Hy4 釋出並宣佈即將全面開源12 個來源
熱度怎麼算的？瞭解口徑收起
熱度按 48 小時內有多少個獨立來源在說這件事算：同一個來源發多條只算一次，並按 24 小時半衰期衰減，所以排前面的是很多人在說的事。
本頁彙總公開訂閱源，標題與摘要由模型整理，版權歸原作者所有；重要資訊請回原文核對。如權利人認為相關標題或摘要侵權，請通過頁尾聯絡郵箱提供具體頁面與權利依據，我們核實後會及時刪除或替換。
- 爆
- 討論快速增加
- 新
- 首報 6 小時內
- 發酵中
- 討論仍在增加