多模态预训练的物理规律首次系统拆解

这篇工作的价值在于把多模态训练从炼丹变成了可解释工程。之前做统一多模态模型的团队大多靠经验调比例，比如 Chameleon 和 Show-o 的图文配比差异很大但没人能说清为什么。这篇用合成数据做了因果隔离实验，发现语言知识对视觉生成的迁移效率远低于视觉理解，这意味着一味加大语言数据比例对生成任务可能是浪费算力。

论文提出的 Early Unification 框架和四条 recipe 已经应用到内部大规模训练，代码和配置预计会随技术报告放出。如果你正在训原生多模态模型，建议等代码开源后直接对照调整数据配比和初始化策略。