DEV Community 解析 API 延遲指標如何掩蓋真實卡頓

2026 年 11 月 10 日，DEV Community 的 AI 欄目釋出了一篇題為《TTFT 與 TPOT：API 延遲指標如何掩蓋真實卡頓》的解析文章。文章指出，隨著大模型推理服務佇列中的請求量上升，端到端延遲與首字延遲（TTFT）會成倍惡化，而常規的平均延遲指標往往掩蓋了使用者實際感受到的漫長白屏等待。

文章用一個互動式模擬器演示了這種差異：把模擬請求到達速率從每秒 0.2 次推到每秒 3.0 次，平均端到端延遲惡化 17 倍；在同樣的區間內，首字延遲的 99 分位值惡化了 762 倍，從 206 ms 升到 157 s。文章強調，這兩個數字描述的是同一組共 300 次請求，但其中只有一個數字描述了使用者盯著的空白輸入框。模擬器配有滑動條，可調 arrival rate、prompt length 和 batch size，頁面地址為 https://dev48.in/ai/days/day83-ttft-vs-tpot.html 。文章同時說明，該負載是模擬並固定隨機種子生成的，場景中沒有 GPU，也沒有真實的模型。

目前這起事件只有這一篇原始報道，文中未涉及後續的回應、修復或新的進展，情況暫時停留在文章釋出的階段。