Kimi K3 自托管实测：贵 20%，但任务完成率更高
推荐指数 63.0 NO. 014 · 2026.07.30
发布2026/07/29Score68Comments29
为什么值得看
Kimi K3 在 8xB300 节点上的自托管实测显示，硬件成本比 GLM-5.2 的 8xB200 配置高约 20%，并发能力更低（16 vs 24 会话）、延迟更高（任务耗时多 50%），但任务解决率达到 86.4%。对于追求任务成功率而非吞吐量的企业级 AI 应用，这是用成本换可靠性的明确信号。
编辑判断
这个测试暴露了一个被忽视的自托管权衡：模型参数量和 KV cache 的内存竞争。K3 的 1.4TB 权重刚好卡在 B200 的 1.5TB HBM 上限，被迫上 B300，这不是个例而是结构性问题——未来更大的稠密模型都会遇到"权重 or 并发"二选一。
对比 GLM-5.2 和 K3 的取舍很有意思：GLM 用 MoE 压缩了激活参数量，换并发和吞吐；K3 走稠密路线，换单任务质量。如果你在做 AI coding agent 或自动运维这类长链路任务，K3 的 86.4% 完成率可能值得多等 8 倍时间；但如果是客服、搜索这类高并发场景，GLM-5.2 的架构选择更务实。
一个实操建议：别只看模型榜单的 benchmark，自托管前务必用真实并发负载算清楚 HBM 预算，权重占满后 KV cache 不足会导致频繁重计算，实际成本可能比纸面高 30% 以上。
社区反馈
意见分歧 27 条评论
核心争论：量化版能否以更低成本实现相近质量，改变K3的成本效益等式
Author here(I'm on the team). We updated this post after Monday's Kimi K3 weights release: fitting the 2.8T model means going from 8×B200 to 8×B300, ~20% more hardware cost, and concurrency drops from 24 to 16 users vs GLM-5.2. Caveat we're upfront about in the post: our 64-task SWEBench Pro subset
Like I said above, you should benchmark quantized versions. With quantization, the same models can be ran at much cheaper hardware, but quality loss is real and this kind of benchmark is an ideal place to put a finger on it.
I second this. Anyone considering running their own hardware would also consider quantization since they would have full control over what quant to run. The value proposition changes a lot if you can get 90% of the quality for 50% the price with a quant due to halving your hardware requirement. Than