2B参数无Tokenizer语音克隆模型开源
推荐指数 66.0 NO. 003 · 2026.09.15
Stars37,324
为什么值得看
VoxCPM2 是 MiniCPM 团队开源的端到端扩散自回归 TTS 模型,跳过离散 token 直接生成连续语音表征,支持 30 语言与可控音色设计。对做语音交互、播客工具、游戏配音的团队来说,这意味着更自然的跨语言克隆和更低的延迟链路。
VoxCPM2: Tokenizer-Free TTS for Multilingual Speech Generation, Creative Voice Design, and True-to-Life Cloning
媒体预览
编辑判断
当前主流 TTS 路线几乎被 GPT-SoVITS、Fish Speech 等基于离散 token(如 VQ-VAE 编码)的方案主导,但 tokenization 本身会引入信息瓶颈,导致语气断裂和跨语言音色漂移。VoxCPM2 直接生成连续表征的思路与 Seed-TTS、E2-TTS 更接近,但 2B 参数量级和 200 万小时训练数据让它在开源阵营里算重兵投入。
值得注意的隐性信号:MiniCPM 团队从 LLM 向多模态语音延伸,说明小钢炮路线(小参数、高密度数据)正在复制到语音赛道。如果你在做实时语音交互(如 AI 陪伴、口语教练),之前受限于 token 延迟或克隆质量不稳定,这个架构值得对比测试。
落地提醒:项目目前热度高但社区反馈尚少,Docker 部署文档已提供,建议先测中文克隆和跨语言音色一致性,再评估是否替换现有管线。
Star History
生态分析
Beta
MiniCPM生态语音旗舰,填补开源中文TTS端到端扩散模型空白
独特价值:Tokenizer-Free连续表征生成,30语言真声克隆与创意音色设计一体化