Strata 在功耗受限 RTX 5090 上解码达 150-200 tok/s

有用户分享在功耗受限的 RTX 5090 加 96GB DDR5-6400 的配置上运行 Strata，使用 IQ3_S 量化、上下文 128k（8-bit）时解码速度达到 150-200 tok/s，预填充为 5-6k。帖中没有给出更多配置细节。

最新进展有用户分享在功耗受限的 RTX 5090 加 96GB DDR5-6400 的配置上运行 Strata，使用 IQ3_S 量化、上下文 128k（8-bit）时解码速度达到 150-200 tok/s，预填充为 5-6k。帖中没有给出更多配置细节。