凍結基座加 LoRA 介面卡微調 embedding 模型的做法

2026 年 11 月 4 日，DEV Community 的 AI 板塊刊出一篇技術文章，題為《用 LoRA 微調 embedding 模型：凍結基座只訓介面卡》，介紹了用 LoRA 微調 embedding 模型的一種做法。具體做法是凍結基座編碼器，只在線性層掛一個小的 LoRA 介面卡，用自有領域的（query, passage）配對做對比學習，只訓練介面卡，幾百到幾千條幹淨樣本通常就夠。

文章稱產出的介面卡只有幾 MB，並提醒微調後必須對整個語料重新做 embedding，因為新向量與舊向量不可比。文中以 Sentence Transformers 為例，稱只需幾行程式碼：先構建一個 task_type=FEATURE_EXTRACTION 的 LoraConfig，呼叫 model.add_adapter()，再用 MultipleNegativesRankingLoss 訓練。

目前關於這件事只有這一篇報道，沒有其他信源對該方法或效果給出說法。