负载均衡反直觉：扩容反而恶化延迟
推荐指数 71.0 NO. 011 · 2026.06.20
发布2026/06/19Score57Comments17
为什么值得看
经典排队论揭示一个反直觉结论：M/M/c队列在固定利用率下，增加服务器数c不会消除排队延迟，均值请求时间收敛于一个大于1秒的常数而非趋近服务时间。这对微服务扩容策略有直接警示意义。
编辑判断
很多人直觉认为加机器就能消灭排队，但M/M/c模型的关键假设是单服务器无内部队列、全局统一排队。实际工程中，Nginx、AWS ALB的轮询或最少连接策略往往近似这个模型，导致扩容到几十台时延迟瓶颈从服务时间变成调度抖动。
如果你在做高并发API网关设计，别盲目水平扩容，先测一下当前架构的排队模型是M/M/c还是M/G/1——后者（单队列单服务）的延迟随利用率变化曲线完全不同，可能需要换用基于Join-Shortest-Queue的调度或本地队列+负载感知路由。
社区反馈
意见分歧 27 条评论
核心争论：排队论模型的理论结论与现实系统扩容实践之间存在多大差距
Of course, this assumes independent events. World Cup, super bowls, etc break these assumptions. Still, queuing theory is so cool.
Why would anyone think that it would get linearly worse? What's the (wrong) assumption there?
I think author made it up just to have something more to show up on graph.