AMAZINGINDEX.COM 日报快照
53.6
VOL. 2026.08
2026.08.02
← 返回 2026.08.02 日报
日报快照 · Daily Snapshot
NO. 008

纯文本模型 hack 出视觉能力

#REPO GitHub Search 2026.08.02
推荐指数 52.0 NO. 008 · 2026.08.02
Stars101创建今天Forks0Issues0

通过拦截 Codex 内置的 view image 调用,让纯文本 DeepSeek 获得图片描述能力,无需额外配置 MCP 或 CLI。适合已接入 DeepSeek 但缺多模态的开发者,避免反复踩坑。

一个可以让像deepseek-v4这样的纯文本模型, 在codex中无障碍调用内置看图工具(view_image)的方案,附为纯文本llm设计的视力工具包。

纯文本模型 hack 出视觉能力

这个方案的本质是「用视觉模型做中间层,给纯文本模型造一双眼睛」,思路类似去年社区给 GPT-4 早期版本做的「视觉外挂」。区别在于它直接复用了 Codex 原生的 image viewer 协议,而不是另起一套 MCP 工具链,部署成本更低。

之前大家解决类似问题通常走两条路:要么换多模态模型(成本或合规受限),要么自己搭 MCP server(配置繁琐且容易和 Codex 的 tool calling 冲突)。这个项目用 sha256 缓存和同图复用做了性能优化,多图并发的延迟控制是个实用细节。

如果你在内部部署了 DeepSeek 或类似纯文本模型,又需要快速支持截图分析、GUI 自动化等场景,这个方案比改造整条链路更轻量。独立 CLI 里的 grounding 工具(自然语言定位像素坐标)也值得关注,Computer Use 场景下能减少坐标硬编码的维护成本。

Star History
Experimental

填补纯文本模型多模态缺口,为 DeepSeek 用户提供零配置视觉增强方案

独特价值:无需 MCP 或 CLI 改造,拦截式注入实现纯文本模型原生看图能力

查看原文 →