实测显示网页抓取架构是决定大模型引用的关键

2026 年 11 月 11 日，DEV Community 上一位开发者发文分享了一项关于大模型引用的实测。据该文所述，作者记录了 5 个 LLM 在 200 个买家提示词中的引用链接，发现决定网页能否被大模型引用的核心因素并非内容本身，而是网页抓取及内容提取的底层技术架构。

作者在文中称，关键问题在于爬虫能否抓取到页面，以及页面内容在提取之后是否还能保留下来；并表示已将测试过程、结论整理成一份清单，在撰写新内容前逐项对照执行。该文为目前检索范围内关于此事的唯一一篇报道，尚无其他信源给出不同说法或后续进展。