Strata 讓 8GB 視訊記憶體電腦跑千億引數大模型

2026 年 10 月 8 日，作者吳佳浩在一篇技術文章中介紹了 Strata 方案，稱其能在單張 RTX 5090（32GB 視訊記憶體）上執行 125B 引數的 MoE 大模型，測試環境為 RTX 5090 搭配 617 版驅動。文章把這一做法描述為將原本屬於伺服器級的 MoE 推理拉進普通 PC。該文於 10 月 9 日 22:51 釋出在掘金。

隨後在 10 月 10 日 01:12，同一作者又在掘金髮布了一篇教程，記錄在單張 RTX 5090（32GB 視訊記憶體）上執行 125B 大模型的完整流程，覆蓋安裝、驗證與基準測試三部分，並給出更具體的測試環境，包括驅動版本 617.14 等資訊。

10 月 10 日 16:44，小眾軟體發文稱，經其實測，工具 Strata 可以在只有 8GB 視訊記憶體的普通電腦上執行千億引數大模型，並已在 RTX 5070、RTX 3060、RTX 4060 Ti、RX 9070 XT、RX 9060 XT、RX 7800 XT、RTX 3090 以及更早的 Quadro 等顯示卡上驗證可行。該報道認為，這意味著本地執行超大模型的顯示卡門檻明顯降低。目前公開資訊停在這一步：Strata 的可行性已由上述報道給出，但材料中未提及該方案的釋出方、具體實現細節或後續計劃。