百种优化器统一选型框架
推荐指数 79.0 NO. 018 · 2026.07.08
upvotes64comments1
为什么值得看
OmniOpt 将100+种优化器归纳为统一分类体系，并配套跨领域 benchmark 和选型指南。对训练成本敏感的团队，可据此在算力、内存、调参预算间做系统级权衡，避免盲目跟风 AdamW 或 Lion。
媒体预览
编辑判断
当前优化器选型高度依赖经验试错，团队往往在 AdamW、Lion、Adafactor 之间反复横跳，缺乏量化依据。OmniOpt 的关键贡献是把「优化器更新」抽象为可组合的结构化变换，类似编译器的 pass 设计，这让自动化搜索成为可能。
论文提到了 norm-constrained linear minimization oracle，这实际上把 Frank-Wolfe 类方法的思路嫁接到了深度学习场景，内存效率可能优于标准动量法，但收敛速度尚待验证。
代码和 benchmark 是否开源决定这篇工作的实际价值，建议关注 HuggingFace 仓库后续更新，如果 benchmark 覆盖足够多真实训练配置，可能成为社区事实标准。
相关内容
Adam之后选哪个？浙大团队对23种优化器做了迄今最系统... 研究团队建立标准化评估框架，在视觉任务（ResNet、ViT）及因果语言建模（Llama）上对23种优化器进行大规模基准测试。 GigaEvo: An Open Source Optimization Framework Powered By LLMs And Evolution Algorithms 开源优化框架，结合大语言模型与进化算法，为优化器设计提供新范式。 Optimization Methods for Large-Scale Machine Learning 大规模机器学习优化方法综述，涵盖SGD、Adam等经典优化器的理论基础与收敛分析。