Kyojin 在單臺 128 GB mini PC 跑兩個 300B 級 MoE

2026 年 10 月 3 日，Reddit 的 LocalLLaMA 板塊出現一篇帖子，介紹了一個名為 Kyojin 的推理引擎。據帖子描述，Kyojin 構建在 ExLlamaV3 之上，面向 Strix Halo 平臺（gfx1151、ROCm），目標是讓兩個 300B 級 MoE 模型各自裝進一臺 128 GB 的 mini PC。

帖子稱這是 Kyojin 的首個版本，所有測量都在 Ryzen AI Max+ 395 上完成。兩個模型分別是 GLM-5.3-Flash 和 MiMo-V2.6-Flash-MOPD，佔用體積為 99.7 GB 和 105 GB。GLM-5.3-Flash 的預填充速度約為 580 tok/s（3.5K 上下文），在 64K 上下文下為 546 tok/s，解碼為 26 至 30 tok/s（MTP）。MiMo-V2.6-Flash 在 4K 上下文下的預填充約為 650 tok/s，解碼成績按場景區分：散文 32 tok/s、對話 35 tok/s、程式碼 44 tok/s（推測解碼），另有 29 tok/s 的一檔（原文標為 plain）。標題給出的說法是 MiMo-V2.6-Flash 解碼最高 44 tok/s。

目前只有這一篇報道，工具的這一版本沒有更多來源或後續進展可以核對。