开源语音生成编辑统一模型AuK
推荐指数 54.0 NO. 023 · 2026.09.10
upvotes163comments2
为什么值得看
AuK 通过自然语言指令和音频上下文统一了语音生成与编辑五大任务，构建了 30 亿条指令-音频对和 195 万小时监督数据。对语音 AI 开发者而言，这意味着不再需要为 TTS、语音编辑、分离增强等任务维护多个模型，单一基座即可覆盖全流程。
媒体预览
编辑判断
语音领域长期被多个专用模型割裂——TTS 用 VALL-E/Bark，编辑用 VoiceBox，分离用 SepFormer，每个都要单独部署。AuK 的野心是把这一切收进一个指令驱动的基座里，类似 LLM 用 prompt 统一 NLP 任务的路数。
技术上看，joint VAE + hybrid rectified-flow Transformer 的组合值得关注，rectified flow 在图像生成（Stable Diffusion 3）已验证过效率优势，迁移到音频是合理延伸。但 195 万小时监督数据的清洗质量和指令设计细节论文披露有限，这是复现关键。
已有 163 upvotes 但仅 2 条评论，说明社区关注度高但还没人跑通。做语音 Agent、播客工具、有声书自动化的团队可以优先试用，如果蒸馏后的推理速度真如报告所言，端侧部署 TTS+编辑一体化是可行路径。