DeepSeek 開源大規模推理框架 DeepInfer

2026 年 10 月 20 日，DeepSeek 開源了推理框架 DeepInfer。據開源中國報道，這次放出的不是模型，而是負責算力排程與成本控制的中間層；在海量使用者呼叫時，由推理框架統籌排程算力叢集，其效率直接決定 AI 服務的算力成本。同日，智東西報道稱，DeepSeek 開源的是其內部使用的大規模雲服務推理框架 DeepInfer，以及生產級 token 編解碼元件 deepseek-recipe。DeepInfer 集成了高效能運算元和深度最佳化的推理引擎，支援分散式推理、推測解碼、SWA Bounded Replay、結構化輸出等能力，可在輝達與華為昇騰平臺上執行。

據 DeepSeek 團隊公佈，DeepSeek V4.1 Flash 的高吞吐、低延遲大規模推理服務正是基於該框架實現，目前單一叢集的服務吞吐為 155 萬億 Tokens/天，整體收入按谷價計算是每卡每小時 38 美金（約合人民幣 253.81 元）。deepseek-recipe 支援主流大模型 API 協議與模型 Tokens 之間的編解碼，處理邏輯與 DeepSeek 官方 API 完整對齊，可確保第三方部署獲得與官方部署一致的結果。

掘金同日釋出的拆解文章則依據官方倉庫和部署 Q&A，提到 Wide-EP、長期 KVCache、SWA Bounded Replay 和動態投機解碼，並解釋了 KVCache 存三天、投機解碼少驗 30% 的實現方式。三篇報道對開源內容的描述側重不同：開源中國強調其作為算力排程與成本控制中間層的定位，智東西補充了 deepseek-recipe 元件與吞吐、收入數字，掘金則聚焦具體技術機制。目前公開資訊停留在框架與元件已開源、官方倉庫和部署 Q&A 可供查閱這一步。