微調 7B 模型實需 112 GB 視訊記憶體，LoRA 與 QLoRA 為何有效

2026 年 10 月 3 日，DEV Community 的一篇文章算了一筆微調視訊記憶體的賬。文章提出，被問到微調一個 7B 模型需要多少視訊記憶體時，很多人的直覺回答是 fp16 下模型本身佔 14 GB，所以比這多一點就夠了；但文章給出的實際數字約為 112 GB。在這筆賬裡，模型權重只佔 14 GB，其餘約 98 GB 來自梯度、最佳化器狀態和啟用值。

文章稱這套賬目來自 ZeRO 論文。文中沒有把 LoRA 和 QLoRA 描述成技巧，而是說看清這部分視訊記憶體去向之後，它們更像順理成章的選擇。原文片段在開頭把 112 GB 說成「還沒存下任何一個啟用值」之前的數字，隨後又把啟用值列入那 98 GB 的構成，兩處表述略有出入。

截至目前，這件事只有這一篇報道，沒有其他來源給出不同數字或補充說明。