商汤8B模型统一视觉理解与生成
推荐指数 59.0 NO. 024 · 2026.09.12
upvotes127comments1
为什么值得看
SenseNova-U1.5 是 8B 参数的 MoT 架构原生多模态模型，无需编码器/VAE 即可同时完成视觉理解、推理和生成，支持 4K 分辨率。对端侧部署和统一多模态管线有参考价值，但 127 upvotes 仅 1 条评论说明社区验证尚早。
媒体预览
编辑判断
当前多模态主流路线是理解用 ViT 编码器、生成用扩散 VAE 的拼接架构，SenseNova 的 encoder-free 方案如果跑通，意味着推理链路大幅缩短、端侧部署成本下降。但 "native unified" 这个方向之前 Janus、Show-o 都尝试过，视觉生成质量始终打不过专用扩散模型，商汤这次用 patch reconstruction + 专家优化能走多远需要看实际生成案例。
论文提到 on-policy distillation 做后训练，这通常是闭源团队的 trick，8B 规模 + 4K 分辨率对显存和训练数据的消耗不低，建议等开源后重点测生成任务的 FID 和编辑任务的指令跟随度，理解任务反而不会是瓶颈。