LLM-Surgeon v2.0 釋出：用於本地大模型硬體診斷的離線 CLI

2026 年 11 月 7 日 14:06，開發者 Leonel59 在 DEV Community 的 AI 欄目釋出了 LLM-Surgeon v2.0，這是一個零依賴、100% 離線的跨平臺命令列工具，面向 Windows、Linux 和 macOS，專為本地執行大模型時的硬體診斷設計，專案託管在 LLM-SURGEON。據該報道介紹，通過 Ollama、LM Studio 或 llama.cpp 在本地執行 LLM 時，使用者常需要猜測某個 30B MoE 或 14B dense 模型在 16K context 下能否實際裝入視訊記憶體，還是會由 Windows 悄悄把層溢位到系統記憶體，導致速度從 55 tok/s 跌到 4 tok/s。

為解決這一問題，LLM-Surgeon v2.0 結合硬體遙測、GQA KV-Cache 數學計算以及 NVML 資料，幫助使用者評估模型在視訊記憶體中的適配情況。這是本次事件目前唯一收到的報道，文中僅介紹了該版本工具的釋出時間與功能，尚未有關於後續版本、社群反饋或維護狀態的資訊。