AMAZINGINDEX.COM 每天向上一点
53.9
VOL. 2026.11
2026.11.10
← 返回 2026.11.10 日报
日报快照 · Daily Snapshot
NO. 008

决策模型专用推理引擎提速9.5倍

#NEWS Show HN 2026.11.10
推荐指数 74.0 NO. 008 · 2026.11.10
热度118评论28

Flide 是为 Jev-like 决策模型打造的高性能推理引擎,性能比 vLLM 和 SGLang 提升最高 9.5 倍。已支持 30 余种本地决策模型,适合需要低延迟推理的 AI 决策场景。

Jev-like 决策模型(如 O1、DeepSeek-R1 这类带内部推理链的模型)之前一直被塞进通用 LLM 推理引擎里跑,但决策树的稀疏激活和分支特性跟自回归生成完全是两回事,vLLM 的 PagedAttention 对这种结构反而是 overhead。

Flide 的 9.5x 提速大概率来自专门针对决策图结构的算子融合和内存布局优化,而不是简单的 CUDA 调优。做金融风控、游戏 AI、自动驾驶决策规划这类强决策场景的团队,之前被迫用 vLLM 跑小模型或者自己写 CUDA,现在有个现成的专用引擎了。

建议拿你现有的决策模型 benchmark 直接对比 Flide 和 SGLang 的 latency,如果属实,这可能是推理栈开始垂直细分的一个信号——通用引擎卷完,专用引擎的时代来了。

查看原文 →