流式视频LLM主动记忆新框架
推荐指数 61.0 NO. 024 · 2026.10.03
upvotes145comments1
为什么值得看
OneStreamer 让视频大模型在实时观看流式视频时，自动记录可能成为证据的关键帧并主动生成摘要，解决"看到时不知道有没有用"的流式感知难题。对做实时视频分析、监控智能体、直播交互的工程师有直接参考价值。
媒体预览
编辑判断
当前流式视频理解的主流做法是滑动窗口或离线缓存整段视频再处理，前者丢上下文，后者做不到实时。OneStreamer 的 PHCM 机制让模型自己决定"什么该记"，类似人类看监控时的选择性注意，不需要等查询进来再回头找。
论文提到 streaming caption targets 作为监督信号，这意味着训练数据不需要人工标注事件边界，降低了落地门槛。不过 145 upvotes 但仅 1 条评论，说明社区还在观望代码是否开源——如果 HuggingFace 后续放出权重，这会是视频 Agent 的一个关键基座组件。
做直播实时风控、具身智能第一视角交互的团队可以重点关注，这类场景的核心痛点正是"证据滞后出现"，传统 RAG 的 query-first 检索模式在这里会失效。