KittenML 開源 inferencekit 外掛最佳化本地硬體推理

2026 年 11 月 13 日 08:14，Reddit 的 LocalLLaMA 板塊出現一則訊息，稱 KittenML 開源了名為 inferencekit 的外掛。該外掛免費開放，作用是把 Claude Code、Codex、OpenCode 等程式設計 Agent 變成面向本地硬體的推理工程師，幫助使用者針對自己的硬體環境自動尋找最優推理路徑。

據該訊息介紹，多數模型自帶的推理配置是按作者開發時使用的硬體調優的，往往與使用者本地硬體並不一致，同一套方案在 3070、Mac 或 Radeon 上的最快路徑可能各不相同，inferencekit 正是用來為特定裝置組合找出這一路徑。訊息還提到，該工具此前已被用於將 Kitten-TTS-2 的流式首字延遲壓至約 10ms，但摘要中的相關表述在硬體處被截斷，具體執行環境未能完整呈現。

截至目前，僅有這一篇報道，事件沒有更多後續進展可查。