CNCF 治理下的 llm-d 1.0 正式发布

llm-d 1.0 于 2026 年 10 月 20 日发布，项目由 CNCF 治理。据 DEV Community 2026 年 11 月 2 日的报道，其支持的模型服务端包括 vLLM 和 SGLang。

报道指出，在这批功能中，对 GPU 成本影响最大的是默认路由规则，即 llm-d 在 2026 年 8 月发布的 “Sticky Until Saturated” 一文中描述的缓存亲和性路由：把请求发往已持有其前缀缓存的端点，直到该端点的排队 token 负载超过上限，此后仅按负载路由。这一上限由数学公式决定，而非主观设定：tau = R_peak x T_max。

报道列举的功能还包括：前缀缓存与负载感知路由、KV 缓存卸载、prefill/decode 分离、wide expert parallelism、批量与异步推理、多租户服务质量、带热备的路由器高可用，以及面向 agent 的会话感知路由。目前，llm-d 1.0 的发布即停留在这些已公布的功能清单上。