冻结权重进化推理程序提速VLM
推荐指数 70.0 NO. 003 · 2026.10.04
Stars122创建1 天前Forks2Issues0
为什么值得看
EvoVLM 用 LLM 引导的多目标进化搜索，在不动模型权重的前提下优化视觉语言模型的推理流程（提示词、图像预处理、生成预算等）。对需要在端侧或高并发场景部署 VLM 的团队，这是比微调更省算力的精度-延迟权衡方案。
Evolving Multimodal Inference Programs: LLM-guided evolutionary search for accurate and efficient vision-language inference.
编辑判断
当前优化 VLM 推理的主流思路是量化、蒸馏或投机解码，这些都在改模型本身。EvoVLM 换了一条路：把推理当成可搜索的程序空间，用进化算法找帕累托最优配置，这和 Google 去年提出的 OPAL 框架思路相近，但 EvoVLM 把搜索维度从纯提示扩展到了图像预处理和生成预算。
这个方法的隐性价值在于"可迁移性"——在一个图表数据集上进化出的推理程序，可能直接套用到同领域的其他 VLM 上。如果你的业务已经在用 Qwen-VL 或 InternVL 做图表解析，但延迟压不下来，可以先试试把它的搜索框架接进现有管线，比重新训练一套轻量化模型快得多。
不过要注意，进化搜索的评估开销不小，论文里没给单次搜索的总调用成本，生产环境用之前建议先算笔账。
Star History
生态分析
Experimental
首个以进化算法优化VLM推理流程的轻量级部署工具，填补端侧效率优化空白。
独特价值：免微调、多目标进化搜索，实现精度-延迟帕累托最优的推理配置。