RTX 5090 对比 Ryzen AI Max+ 395 跑大模型

2026 年 11 月 10 日，掘金上一篇技术帖对比了两类硬件在跑本地大模型时的差异。一类产品是英伟达独立显卡 RTX 5090，搭载 32GB 显存，售价约 3 万元人民币；另一类是板载芯片组的迷你主机，例如搭载 AMD Ryzen AI Max+ 395（Strix Halo）的机型，最高可配 128GB 统一内存，该配置售价约 2 万元人民币。按单精度 32 位浮点数（FP32）算力比较，独立显卡约为板载芯片组的 7 倍。帖文同时给出两者的关键存储指标：RTX 5090 拥有 1792GB/s 带宽，Ryzen AI Max+ 395 的统一内存带宽仅为 256GB/s。

贴文指出，算力高并不保证能跑起想跑的本地模型，显存容量可能先构成瓶颈。以 70B 参数模型为例，若每个参数占 4 位，权重约需 35GB（约 32.6 GiB），RTX 5090 的 32GB 显存无法完整容纳。补救办法是把一部分权重放到系统内存，但速度会受影响。而内存为显卡与 CPU 共用的统一内存机型则可以宽敞装下这套权重，适合处理内存消耗量大的 AI 模型；苹果的 M 系列芯片即采用这一架构。不过统一内存受带宽限制，生成速度可能只有每秒几个 Token。贴文还提到，MoE 架构能减少每个 Token 读取的参数，从而降低对带宽的压力。目前该贴没有给出实测跑分，仅作上述规格与原理分析。