開發者開源 1600 行 Python 程式碼的大模型推理引擎 LiteMoE

2026 年 11 月 2 日，開發者在 V2EX 上宣佈開源大模型推理引擎 LiteMoE。據介紹，該專案僅用約 1600 行 Python 程式碼，旨在幫助開發者快速入門大模型推理機制——作者認為直接閱讀 vLLM 原始碼入門負擔過重，而 LiteMoE 的主線程式碼一個下午即可讀完。該引擎支援執行真實的 Granite 模型，並配套提供互動演示和詳細教程：教程內容從 KV Cache、MoE 等基礎概念，一路講到 DeepSeek、Kimi、Qwen 等模型的新設計。

在效能方面，作者稱在固定批次的測試場景下，LiteMoE 的吞吐量為 vLLM 的 105%～109%，相關測試指令碼可復現。作者同時說明，專案所使用的運算元來自 vLLM，吞吐量的提升來自運算元之外的執行層；LiteMoE 的定位是學習和實驗用途，生產部署仍應使用 vLLM。作者表示，如果社群感興趣，後續將繼續開發多卡和 CPU 版本。專案程式碼託管在 GitHub 的 ZhuLinsen/LiteMoE 倉庫，互動演示頁同步上線。截至目前，僅有這一篇釋出於 V2EX 的介紹，尚未見到關於該專案的後續更新或其他來源的報道。