DEV Community 解析 API 延迟指标如何掩盖真实卡顿

2026 年 11 月 10 日，DEV Community 的 AI 栏目发布了一篇题为《TTFT 与 TPOT：API 延迟指标如何掩盖真实卡顿》的解析文章。文章指出，随着大模型推理服务队列中的请求量上升，端到端延迟与首字延迟（TTFT）会成倍恶化，而常规的平均延迟指标往往掩盖了用户实际感受到的漫长白屏等待。

文章用一个交互式模拟器演示了这种差异：把模拟请求到达速率从每秒 0.2 次推到每秒 3.0 次，平均端到端延迟恶化 17 倍；在同样的区间内，首字延迟的 99 分位值恶化了 762 倍，从 206 ms 升到 157 s。文章强调，这两个数字描述的是同一组共 300 次请求，但其中只有一个数字描述了用户盯着的空白输入框。模拟器配有滑动条，可调 arrival rate、prompt length 和 batch size，页面地址为 https://dev48.in/ai/days/day83-ttft-vs-tpot.html 。文章同时说明，该负载是模拟并固定随机种子生成的，场景中没有 GPU，也没有真实的模型。

目前这起事件只有这一篇原始报道，文中未涉及后续的回应、修复或新的进展，情况暂时停留在文章发布的阶段。