Homelab 实测 6GB 显存跑本地 AI Agent

2026 年 10 月 3 日，DEV Community 上的一篇文章记录了一次 Homelab 环境下的本地 AI Agent 实测。作者在自己的 Homelab 中同时运行着 41 个容器，配备的 GPU 只有 6 GB 显存；当他询问这台用于跑 LLM 的机器当前在做什么时，得到的回答是它加载了一个 27B 参数的模型。

这次实测的核心数字是显存与内存的分配：该模型总占用 18.3 GB，其中真正加载到显卡上的只有 0.5 GB，剩下的 17.8 GB 留在系统内存里，由 CPU 逐个 Token 完成推理。作者用调侃的说法描述这种状态——所谓 27B 模型「跑在 GPU 上」，大概相当于他走到商店就算在跑马拉松。文章据此分析了本地 AI Agent 任务在受限硬件上的调度与性能表现，讨论重点放在 GPU 显存不足时的资源调配，而非模型本身的能力。

报道中没有给出这次运行的推理速度、延迟或吞吐数字，也没有交代所用模型的具体名称与量化方案，只提到参数量为 27B、总占用 18.3 GB。目前能确认的进展就停在这次单机实测的观察结果上，材料中没有后续更新。