LLM推理容量规划实战手册

行业里做推理容量规划的人大多在拍脑袋，常见陷阱是拿闭环压测的吞吐当真实容量——这隐含了系统利用率100%的假设，而排队论告诉我们此时等待时间趋于无穷。这本手册的价值在于把vLLM社区里散落的经验（比如Prefill/Decode分离调度、chunked prefill）锚定到可量化的公式上，让工程师能和财务对齐"买多少卡"的决策。

跟NVIDIA的Triton Model Analyzer或Anyscale的LLMPerf相比，这本手册不是自动调参工具，而是教你怎么手算验证这些工具的输出是否合理。最适合的场景是：你已经用vLLM跑通了服务，但要在SLA里写死P95延迟、或者要向老板解释为什么需要再买20张H100——这时候需要的不只是benchmark数字，而是能推导数字背后的物理约束。