Homelab 實測 6GB 視訊記憶體跑本地 AI Agent

2026 年 10 月 3 日，DEV Community 上的一篇文章記錄了一次 Homelab 環境下的本地 AI Agent 實測。作者在自己的 Homelab 中同時執行著 41 個容器，配備的 GPU 只有 6 GB 視訊記憶體；當他詢問這臺用於跑 LLM 的機器當前在做什麼時，得到的回答是它載入了一個 27B 引數的模型。

這次實測的核心數字是視訊記憶體與記憶體的分配：該模型總佔用 18.3 GB，其中真正載入到顯示卡上的只有 0.5 GB，剩下的 17.8 GB 留在系統記憶體裡，由 CPU 逐個 Token 完成推理。作者用調侃的說法描述這種狀態——所謂 27B 模型「跑在 GPU 上」，大概相當於他走到商店就算在跑馬拉松。文章據此分析了本地 AI Agent 任務在受限硬體上的排程與效能表現，討論重點放在 GPU 視訊記憶體不足時的資源調配，而非模型本身的能力。

報道中沒有給出這次執行的推理速度、延遲或吞吐數字，也沒有交代所用模型的具體名稱與量化方案，只提到引數量為 27B、總佔用 18.3 GB。目前能確認的進展就停在這次單機實測的觀察結果上，材料中沒有後續更新。