AMAZINGINDEX.COM 每天一点 Amazing
60.6
VOL. 2026.11
2026.11.03
← 返回 2026.11.03 日报
日报快照 · Daily Snapshot
NO. 010

AI 实时看屏:只传变化帧省 90% 流量

#REPO GitHub Search 2026.11.03
推荐指数 48.0 NO. 010 · 2026.11.03
Stars162创建1 天前Forks8Issues1

给 DeepSeek 做的屏幕视觉插件,按画面变化量智能筛选帧、拼合成图喂给模型。静止场景几乎零成本,解决定时截图流量爆炸和冗余信息干扰的痛点。

让 AI 实时看见你的屏幕:按变化量筛选帧、多帧拼进一张图,静止画面几乎不花 token

AI 实时看屏:只传变化帧省 90% 流量

目前让 AI "看见"屏幕的主流方案是 Claude Computer Use 或 OpenAI 的 CUA,都是固定频率截图,每秒 1-2 张全量图片,Token 成本极高且包含大量重复信息。这个项目用帧间差分+运动量化做自适应采样,本质上把"视频编码的关键帧思路"搬进了 LLM 视觉输入管线,对需要长时间屏幕陪伴的场景(AI 编程助手、游戏陪玩、远程教学)成本结构会彻底改变。

同类思路在 VNC、远程桌面领域很成熟,但面向 LLM 输入做优化的开源实现很少。如果你在做 AI 陪伴、AI 编程或任何需要"持续视觉上下文"的产品,这个方案比直接调 API 截屏值得优先试,尤其是要控制多模态 Token 预算的团队。

Star History
Beta

DSH生态中专注屏幕视觉输入的轻量级实时插件,填补视觉感知层空白

独特价值:按变化量智能筛帧+多帧拼图,静止场景零token消耗,极致降本

竞品:
ccch1mneyyy/dsh-Go ★ 5.9k 手机端DSH运行环境,非屏幕视觉插件
Ebony-Vinyl/EAC-Desktop ★ 2.3k DSH插件聚合桌面,通用平台非视觉专用
sixtysevenlf/dsh-blender-plugin ★ 1.6k Blender三维工具插件,场景不同
查看原文 →