AMAZINGINDEX.COM 日报快照
50.1
VOL. 2026.07
2026.07.04
← 返回 2026.07.04 日报
日报快照 · Daily Snapshot
NO. 002

让 LLM 真正看懂视频,本地运行

#REPO GitHub Search 2026.07.04
推荐指数 60.0 NO. 002 · 2026.07.04
Stars494创建3 天前Forks18Issues0

claude-real-video 是一个本地视频解析工具,通过场景检测提取关键帧并转录音频,生成 LLM 可理解的结构化输入。解决了现有方案要么只读字幕、要么固定采样漏掉快剪画面的痛点,适合需要视频分析但数据敏感的场景。

Let Claude (or any LLM) actually watch a video — scene-aware, deduplicated frames + transcript, from a URL or local file. Runs locally, MIT.

目前让 LLM 读视频的主流做法有三种:Gemini 固定 1fps 采样、Whisper 转文字丢画面、或者上传云端处理。这个工具的核心差异是本地运行加自适应关键帧,对金融合规审查、内部培训视频分析这类不能外传数据的场景很对口。

跟 Twelve Labs 这类云端视频理解 API 比,它牺牲了一些语义检索能力,换来了零成本和隐私可控;跟纯 OCR 或字幕方案比,它能抓住 PPT 翻页、演示操作等画面信息。如果你在做企业知识库、媒体内容审核,且视频量在千小时级别,自建这套比调 Gemini API 更划算。

一个小限制:场景检测对动画、游戏画面的切分精度会下降,建议先拿你的实际素材跑一轮看丢帧率。

Star History
Experimental

填补本地视频LLM解析工具空白,聚焦隐私敏感场景的视频理解基础设施。

独特价值:场景感知去重+本地运行,解决固定采样漏帧与隐私泄露双重痛点。

查看原文 →