Gander 实现实时全双工多模态交互
推荐指数 74.0 NO. 021 · 2026.09.10
upvotes106comments1
为什么值得看
Gander 是一个端到端框架，通过"小脑-大脑"架构和块级 token 流设计，实现视频、语音、文本的连续流式输入与实时全双工交互，支持用户随时打断和模型主动反馈。对需要构建低延迟、可中断的多模态 Agent 的工程师有直接参考价值。
媒体预览
编辑判断
当前主流的多模态对话系统如 GPT-4o、Gemini 本质上仍是轮询式架构，延迟和打断体验是硬伤。Gander 的"小脑-大脑"分层设计把低延迟反射（类似人类小脑）和深度推理解耦，让系统能在 200ms 内响应打断，同时不丢失上下文连贯性。
这个架构思路和 2024 年清华的 ChatDev、清华&智源的 LLaMA-Omni 有相通之处，但 Gander 是首个在单框架内统一了流式感知、全双工交互和 Agent 能力的端到端方案。论文提到代码将开源，如果复现效果接近论文数据，做实时 AI 助手、具身智能的团队可以直接拿来替代现有的 ASR+LLM+TTS 拼接管线。