端到端语音+全身动作实时生成

当前虚拟人方案普遍采用级联架构：LLM 生成文本→TTS 出音频→再喂给动作模型如 EMOTE 或 DiffPose，整条链路至少 2-3 次前向传播，延迟累积且口型与动作脱节。Motion-Omni 的 trick 在于用伪标签数据训练一个共享的音频-动作隐空间，让语音和动作从同一组 hidden states 并行解码，把推理压到单次前向。

不过论文提到的 scalable pseudo-labeling 具体怎么构造数据对很关键——高质量配对的语音-动作数据极度稀缺，这往往是复现的暗坑。目前 35 upvotes 热度偏低，建议等代码开源后优先验证其在实时场景下的 RTF（实时率）和动作自然度，而不是只看论文指标。