SKill测评：谁才是真正的Skill之王？
内容提要
阿里开源Skill-Up评测工具，用于量化评估Agent Skill质量。它支持在Claude Code、Codex等真实环境中验证功能正确性，将失败用例转为修复指引，并支持本地与CI回归。工具提供命令行安装，可运行、筛选用例，生成多格式报告，并支持基线对比和迭代测试，帮助开发者标准化Skill评测流程。
延伸解读
评测工具的核心价值
Skill-Up 的出现填补了 Skill 质量评估的空白。它允许开发者在真实的 Agent 环境（如 Claude Code、Codex）中验证 Skill 的功能正确性，而不仅仅是静态检查。这种基于实际运行的评测方式，能更真实地反映 Skill 在真实场景中的表现，帮助开发者发现潜在问题。
从失败到修复的闭环
工具的一个亮点是能将失败用例转化为精准的修复指引。这意味着评测不仅仅是发现问题，还能提供具体的改进方向。这种设计降低了调试成本，让开发者能更快地迭代 Skill，提升开发效率。
评测的灵活性与可扩展性
Skill-Up 提供了丰富的命令行选项，支持按名称筛选用例、指定引擎和模型、调整并行度、生成多种格式报告，以及进行基线对比和迭代测试。这种灵活性使得评测可以适应不同的开发流程，无论是本地调试还是 CI 集成，都能轻松实现持续回归。
Q&A
阿里开源的Skill-Up评测工具是什么？
Skill-Up是阿里开源的一款面向Agent Skill的命令行评测工具，用于量化评估Skill的质量，支持在Claude Code、Codex、Qoder CLI等真实Agent Engine环境中验证功能正确性，并将失败用例转化为修复指引。
如何安装Skill-Up评测工具？
有两种安装方式：一是通过Skill-upper（推荐），使用命令`npx skills add https://github.com/alibaba/skill-up/tree/main/skills/skill-upper -g -a codex -y`；二是通过命令行安装，使用`curl -fsSL https://raw.githubusercontent.com/alibaba/skill-up/main/install.sh | bash`。
Skill-Up评测工具支持哪些Agent Engine？
Skill-Up支持在Claude Code、Codex、Qoder CLI等真实Agent Engine环境中验证Skill的功能正确性。
Skill-Up如何筛选和运行评测用例？
可以通过`--include-case-name`参数只运行匹配的用例，例如`skill-up run ./evals/eval.yaml --include-case-name "basic-*"`；也可以通过`--exclude-case-name`排除特定用例，例如`skill-up run ./evals/eval.yaml --exclude-case-name "*-old"`。
Skill-Up支持哪些报告格式？
Skill-Up支持生成多种格式的报告，包括JSON、HTML和JUnit，可通过`--format`参数指定，例如`skill-up run ./evals/eval.yaml --format json --format html --format junit`。
Skill-Up如何支持持续回归测试？
Skill-Up支持本地与CI环境的持续回归，可以通过`--iteration`参数连续运行多轮测试，例如`skill-up run ./evals/eval.yaml --iteration 3`，并将产物分别写入不同目录。
