AI 实时看屏:只传变化帧省 90% 流量
推荐指数 48.0 NO. 010 · 2026.11.03
Stars162创建1 天前Forks8Issues1
简介
给 DeepSeek 做的屏幕视觉插件,按画面变化量智能筛选帧、拼合成图喂给模型。静止场景几乎零成本,解决定时截图流量爆炸和冗余信息干扰的痛点。
让 AI 实时看见你的屏幕:按变化量筛选帧、多帧拼进一张图,静止画面几乎不花 token
媒体预览
编辑判断
目前让 AI "看见"屏幕的主流方案是 Claude Computer Use 或 OpenAI 的 CUA,都是固定频率截图,每秒 1-2 张全量图片,Token 成本极高且包含大量重复信息。这个项目用帧间差分+运动量化做自适应采样,本质上把"视频编码的关键帧思路"搬进了 LLM 视觉输入管线,对需要长时间屏幕陪伴的场景(AI 编程助手、游戏陪玩、远程教学)成本结构会彻底改变。
同类思路在 VNC、远程桌面领域很成熟,但面向 LLM 输入做优化的开源实现很少。如果你在做 AI 陪伴、AI 编程或任何需要"持续视觉上下文"的产品,这个方案比直接调 API 截屏值得优先试,尤其是要控制多模态 Token 预算的团队。
Star History
生态分析
Beta
DSH生态中专注屏幕视觉输入的轻量级实时插件,填补视觉感知层空白
独特价值:按变化量智能筛帧+多帧拼图,静止场景零token消耗,极致降本
竞品: