纯 Rust 在 CPU 上跑 Gemma 4、Qwen 3 与 Phi-4

2026 年 10 月 25 日，DEV Community 的 AI 板块刊登了一篇技术文章，介绍了一个用纯 Rust 实现的命令行推理引擎，能够在普通 CPU 上运行多个小型语言模型的量化 GGUF 版本，包括 Gemma 4、Qwen 3/3.6 和 Phi-4-mini。

该项目的前身是作者此前用 Rust 结合 Hugging Face Candle 框架在标准消费级 CPU 上运行微软 Phi-3 的实验，当时的目标是证明在本地跑 AI 推理不需要臃肿的 Python 运行时、复杂的 CUDA 配置，也不用 5GB 以上的 Docker 镜像。本次升级把单一模型实验扩展为可加载多款模型的命令行工具，文中给出了各模型的内存占用、冷启动延迟和 token 生成速度的实测数据，全程不依赖 Python 运行时和 CUDA 环境。目前该项目以这篇基准测试文章的形式公开，报道中没有提及后续的代码开源或发布计划。