Lightricks开源音视频DiT模型
推荐指数 85.0 NO. 002 · 2026.08.13
Stars8,654
为什么值得看
LTX-2是首个基于DiT架构的端到端音视频基础模型,单模型同时生成同步音频和高保真视频,支持多档性能模式。对视频生成从业者意味着不用再拼接音频后处理管线,可直接用于生产环境。
Official Python inference and LoRA trainer package for the LTX-2 audio–video generative model.
编辑判断
音视频同步生成一直是视频模型的软肋,Runway、Pika等主流工具都需要后期配音乐或音效,LTX-2把音频直接编进DiT的token流里是一次结构创新。不过要警惕的是,Lightricks作为商业公司开源模型,API优先的策略意味着最强版本可能留在云端,本地部署的2.5版本需要实测和官方API的差距。
做短视频工具、广告生成、游戏过场动画的团队最值得先试,特别是之前用Stable Video Diffusion加后配音效的组合,这套管线可以大幅简化。Windows和macOS用户注意CUDA加速的VAE解码会回退到Triton,生成速度可能慢3-5倍,生产环境建议上Linux机器。
Star History
生态分析
Production
Lightricks官方音视频生成基础模型推理与训练框架,LTX系列核心引擎。
独特价值:首个端到端DiT音视频基础模型,单模型同步生成音频视频,免拼接后处理。