英伟达开源Agent技能评测工具
推荐指数 74.0 NO. 003 · 2026.11.16
Stars1,604
简介
SkillEvaluator是NVIDIA推出的CLI工具,用于量化评估AI Agent技能对任务结果的实际影响,通过对比启用/禁用技能前后的运行差异完成验证。Agent技能生态目前缺乏标准化评测手段,这个工具填补了从"能跑"到"真的更好"的验证缺口。
Multi-tier framework for evaluating AI agent skills with quality gates, semantic overlap detection, synthetic evaluation dataset generation, and live agent evaluation that measures how skills affect agent behavior.
媒体预览
编辑判断
做Agent平台的团队之前评测技能效果基本靠人工抽查或写一次性脚本,没有成体系的AB测试框架。SkillEvaluator把这套流程做成了可嵌入CI的标准化管线,对标的是Weights & Biases的prompt评测或者Braintrust的eval功能,但它更轻量、专门面向技能粒度而非模型粒度。
关键差异在于它遵循了agentskills.io的开放规范,这意味着技能本身可跨平台迁移,评测结果也可复现。如果你正在搭建Agent Store或者技能市场,这套验证机制可以直接作为信任基础设施;如果是单个团队,Tier 1检查无需API key的设计降低了试用门槛,建议先跑一遍自己的prompt模板看基线波动有多大。
Star History
生态分析
Beta
NVIDIA主导的Agent技能评测基础设施,填补Agent生态标准化量化评估空白
独特价值:首创技能开关对比评测机制,打通从能跑到更好的验证闭环