NVIDIA SkillEvaluator：对比安装 Skill 前后的 Agent 表现

报道讲了什么

• NVIDIA 构建了开源评估层 SkillEvaluator，通过静态检查和实时任务运行衡量技能对代理性能的影响。
• 发布了超过 300 个已验证技能在 30 多个 NVIDIA 产品上的首次基准测试结果。
• 技能评估在 Codex 和 Claude Code 两个独立测试框架上进行，计算技能提升（Skill Lift）。

可以做什么

• 通过静态检查验证技能模式、质量、安全、许可证和脚本。
• 使用嵌入相似度识别技能内重复指导和目录中重叠覆盖。
• 在隔离沙箱中运行实时评估，比较安装与未安装技能时的代理表现。

怎么使用

1. 生成评估数据集：skillevaluator create-eval-dataset ./my-skill --full
2. 运行实时比较：skillevaluator tier3 evaluate ./my-skill --agents codex --env-mode docker

结果与限制

• 大多数技能每个任务只评估一次，85% 运行一次，15% 运行两次，个体技能分数有波动。
• 技能提升因产品差异很大，范围从约 +2 到 +46 点。
• Token 节省并非自动实现，某些技能可能增加 token 使用。

使用入口与依据