视频教程自动转可执行Agent技能
推荐指数 73.0 NO. 025 · 2026.07.21
upvotes111comments1
为什么值得看
RESOURCE2SKILL 把人类制作的多模态教程(视频、代码仓库、文章)蒸馏成软件 Agent 可直接调用的层级化技能库。对做自动化工作流和 Agent 平台的团队来说,这是解决技能冷启动问题的新路径,不再需要人工写死每个工具函数。
媒体预览
编辑判断
当前 Agent 技能库的主流做法要么靠人工硬编码(如 LangChain Tools、OpenAI Functions),要么从 Agent 自身执行轨迹反推,前者扩展性差,后者受限于 Agent 已有的能力边界。RESOURCE2SKILL 的增量价值在于打通了人类教学资源这个更大的技能来源——YouTube 教程、GitHub README、技术博客的存量内容远超任何现有技能库。
不过论文没有明确给出视频理解的基座模型和端到端蒸馏的算力成本,这是落地前的关键问号。如果后续开源代码且视频解析成本可控,做 RPA 替代或浏览器 Agent 的团队可以直接接入,把「看教程学操作」这个环节自动化。建议关注其 GitHub 仓库是否释放实现细节。