LLM-Surgeon v2.0 发布：用于本地大模型硬件诊断的离线 CLI

2026 年 11 月 7 日 14:06，开发者 Leonel59 在 DEV Community 的 AI 栏目发布了 LLM-Surgeon v2.0，这是一个零依赖、100% 离线的跨平台命令行工具，面向 Windows、Linux 和 macOS，专为本地运行大模型时的硬件诊断设计，项目托管在 LLM-SURGEON。据该报道介绍，通过 Ollama、LM Studio 或 llama.cpp 在本地运行 LLM 时，用户常需要猜测某个 30B MoE 或 14B dense 模型在 16K context 下能否实际装入显存，还是会由 Windows 悄悄把层溢出到系统内存，导致速度从 55 tok/s 跌到 4 tok/s。

为解决这一问题，LLM-Surgeon v2.0 结合硬件遥测、GQA KV-Cache 数学计算以及 NVML 数据，帮助用户评估模型在显存中的适配情况。这是本次事件目前唯一收到的报道，文中仅介绍了该版本工具的发布时间与功能，尚未有关于后续版本、社区反馈或维护状态的信息。