冻结基座加 LoRA 适配器微调 embedding 模型的做法
2026/11/04 — 11/04 00:18·1 个来源（全部）·1 篇报道（全部）
核心速览 (Key Takeaways)
- 做法是冻结基座编码器，只在线性层挂一个小 LoRA 适配器，用自有领域的（query, passage）配对做对比学习，仅训练适配器，几百到几千条干净样本通常就够。
- 适配器只有几 MB；
- 微调后必须对整个语料重新做 embedding，因为新向量与旧向量不可比。
事件背景与详细解读
2026 年 11 月 4 日，DEV Community 的 AI 板块刊出一篇技术文章，题为《用 LoRA 微调 embedding 模型：冻结基座只训适配器》，介绍了用 LoRA 微调 embedding 模型的一种做法。具体做法是冻结基座编码器，只在线性层挂一个小的 LoRA 适配器，用自有领域的（query, passage）配对做对比学习，只训练适配器，几百到几千条干净样本通常就够。
文章称产出的适配器只有几 MB，并提醒微调后必须对整个语料重新做 embedding，因为新向量与旧向量不可比。文中以 Sentence Transformers 为例，称只需几行代码：先构建一个 task_type=FEATURE_EXTRACTION 的 LoraConfig，调用 model.add_adapter()，再用 MultipleNegativesRankingLoss 训练。
目前关于这件事只有这一篇报道，没有其他信源对该方法或效果给出说法。
AI 综合 1 篇报道生成 · 更新于 2 天前
- 热度指数
- 25
- 全部来源
- 1
- 全部报道
- 1
- 首报
- 2 天前
这件事的报道 点标题看原文
做法是冻结基座编码器，只在线性层挂一个小 LoRA 适配器，用自有领域的（query, passage）配对做对比学习，只训练适配器，几百到几千条干净样本通常就够。产出的适配器只有几 MB；微调后必须对整个语料重新做 embedding，因为新向量与旧向量不可比。
可直接照做的 embedding 微调流程，含重嵌入提醒
DEV Community · AIAI 评分 60
同时在说的其他事
- 热度指数 840OpenAI 发布 Images 2.6，新增 GIF 与 SVG 输出15 个来源
- 热度指数 675OpenAI 披露 cyber 模型流水线自动修复近千处 Linux 内核提权漏洞11 个来源
- 热度指数 642发酵中腾讯混元 Hy4 新增电脑操作能力，Artificial Analysis 发文测评13 个来源
- 热度指数 633发酵中Claude Code 产品负责人 Cat Wu 加入 OpenAI9 个来源
- 热度指数 630新爆OpenAI 发布 GPT-6 Cyber 网络安全模型7 个来源
热度怎么算的？了解口径收起
热度按 48 小时内有多少个独立来源在说这件事算：同一个来源发多条只算一次，并按 24 小时半衰期衰减，所以排前面的是很多人在说的事。
本页汇总公开订阅源，标题与摘要由模型整理，版权归原作者所有；重要信息请回原文核对。如权利人认为相关标题或摘要侵权，请通过页尾联系邮箱提供具体页面与权利依据，我们核实后会及时删除或替换。
- 爆
- 讨论快速增加
- 新
- 首报 6 小时内
- 发酵中
- 讨论仍在增加