Strata 在功耗受限 RTX 5090 上解碼達 150-200 tok/s

有使用者分享在功耗受限的 RTX 5090 加 96GB DDR5-6400 的配置上執行 Strata，使用 IQ3_S 量化、上下文 128k（8-bit）時解碼速度達到 150-200 tok/s，預填充為 5-6k。帖中沒有給出更多配置細節。

最新進展有使用者分享在功耗受限的 RTX 5090 加 96GB DDR5-6400 的配置上執行 Strata，使用 IQ3_S 量化、上下文 128k（8-bit）時解碼速度達到 150-200 tok/s，預填充為 5-6k。帖中沒有給出更多配置細節。