教程：网页转干净 Markdown 为 RAG 省约九成 token

2026 年 11 月 6 日 13:57，DEV Community 的 AI 板块发布了一篇教程，介绍如何在 Node.js 中把网页转换成干净的 Markdown，再送入 RAG 流程或向量库。作者称，原始 HTML 中大量导航、广告、脚本和 cookie 提示会白白消耗数万 token 并干扰模型；文中以常见的新闻文章或文档页面为例，指出这类页面大小通常在 500 KB 到 1 MB 之间，其中大部分内容是臃肿的导航菜单、广告、追踪脚本和 cookie 横幅。

作者表示，把原始 HTML 直接送入 LLM 的上下文窗口会烧掉数万 token 并干扰模型，而按该教程的方法转换后，可节省约 90% 的 LLM token。目前公开材料只覆盖到这篇教程的发布，尚无后续进展或第三方验证的信息。