CNCF 治理下的 llm-d 1.0 正式釋出

llm-d 1.0 於 2026 年 10 月 20 日釋出，專案由 CNCF 治理。據 DEV Community 2026 年 11 月 2 日的報道，其支援的模型服務端包括 vLLM 和 SGLang。

報道指出，在這批功能中，對 GPU 成本影響最大的是預設路由規則，即 llm-d 在 2026 年 8 月釋出的 “Sticky Until Saturated” 一文中描述的快取親和性路由：把請求發往已持有其字首快取的端點，直到該端點的排隊 token 負載超過上限，此後僅按負載路由。這一上限由數學公式決定，而非主觀設定：tau = R_peak x T_max。

報道列舉的功能還包括：字首快取與負載感知路由、KV 快取解除安裝、prefill/decode 分離、wide expert parallelism、批次與非同步推理、多租戶服務質量、帶熱備的路由器高可用，以及面向 agent 的會話感知路由。目前，llm-d 1.0 的釋出即停留在這些已公佈的功能清單上。