純 Rust 在 CPU 上跑 Gemma 4、Qwen 3 與 Phi-4

2026 年 10 月 25 日，DEV Community 的 AI 板塊刊登了一篇技術文章，介紹了一個用純 Rust 實現的命令列推理引擎，能夠在普通 CPU 上執行多個小型語言模型的量化 GGUF 版本，包括 Gemma 4、Qwen 3/3.6 和 Phi-4-mini。

該專案的前身是作者此前用 Rust 結合 Hugging Face Candle 框架在標準消費級 CPU 上執行微軟 Phi-3 的實驗，當時的目標是證明在本地跑 AI 推理不需要臃腫的 Python 執行時、複雜的 CUDA 配置，也不用 5GB 以上的 Docker 映象。本次升級把單一模型實驗擴充套件為可載入多款模型的命令列工具，文中給出了各模型的記憶體佔用、冷啟動延遲和 token 生成速度的實測資料，全程不依賴 Python 執行時和 CUDA 環境。目前該專案以這篇基準測試文章的形式公開，報道中沒有提及後續的程式碼開源或釋出計劃。