Strata 让 8GB 显存电脑跑千亿参数大模型

2026 年 10 月 8 日，作者吴佳浩在一篇技术文章中介绍了 Strata 方案，称其能在单张 RTX 5090（32GB 显存）上运行 125B 参数的 MoE 大模型，测试环境为 RTX 5090 搭配 617 版驱动。文章把这一做法描述为将原本属于服务器级的 MoE 推理拉进普通 PC。该文于 10 月 9 日 22:51 发布在掘金。

随后在 10 月 10 日 01:12，同一作者又在掘金发布了一篇教程，记录在单张 RTX 5090（32GB 显存）上运行 125B 大模型的完整流程，覆盖安装、验证与基准测试三部分，并给出更具体的测试环境，包括驱动版本 617.14 等信息。

10 月 10 日 16:44，小众软件发文称，经其实测，工具 Strata 可以在只有 8GB 显存的普通电脑上运行千亿参数大模型，并已在 RTX 5070、RTX 3060、RTX 4060 Ti、RX 9070 XT、RX 9060 XT、RX 7800 XT、RTX 3090 以及更早的 Quadro 等显卡上验证可行。该报道认为，这意味着本地运行超大模型的显卡门槛明显降低。目前公开信息停在这一步：Strata 的可行性已由上述报道给出，但材料中未提及该方案的发布方、具体实现细节或后续计划。