面向 SPFx 1.24.1 的 SPFx Dev Skills:经多种智能体与模型测试

面向 SPFx 1.24.1 的 SPFx Dev Skills:经多种智能体与模型测试

💡 原文英文,约1500词,阅读约需6分钟。
📝

内容提要

SPFx Dev Skills v1.1.2 发布,支持 SPFx v1.24.1 及 React 18 迁移。团队用 7 种智能体与模型组合进行 105 次升级评测,新技能使所有组合得分提升,其中 6 组达 100%。评测还发现,在任务专用指导下,低成本模型或模型路由器可达到与昂贵模型相同的升级质量,成本低数十倍。评测轨迹还暴露智能体只读部分升级报告的问题,促使团队修改技能,要求完整读取报告。

🔎

延伸解读

评测方法:以全新项目为基准的量化对比

文章用105次运行(7种智能体与模型组合各5次)对比无技能、v1.0和v1.1.2三个版本。评分标准是升级后的项目与全新SPFx v1.24.1项目在依赖、配置和React 18 API上的匹配度,部分完成得部分分。这种设计能区分“能构建”和“完全符合预期”的差距,也解释了为何v1.1.2仍有组合未达100%。读者可借此理解评测的严格程度和适用边界。

成本与质量并非线性关系

文章显示,技能带来的质量提升不一定伴随成本下降:在Claude Code中Opus 5.5从94%升至100%,成本从$0.25涨到$0.32;Copilot Fusion也从$0.01升至$0.02。作者推测完整读取升级报告可能增加token消耗。但另一方面,部分组合在提分同时成本下降,如Copilot Chat中Sonnet 5.5从$0.49降至$0.40。这说明技能对成本的影响因组合而异,需结合具体场景评估。

低成本模型在任务专用指导下可媲美高价模型

在Copilot Chat中,GPT-6 Luna搭配v1.1.2达到100%平均分,成本$0.03/次;而Opus 5.5同样100%,成本$0.82/次,相差约27倍。路由器Copilot Fusion也以$0.02/次达到100%。作者提醒,这仅基于一个升级场景,其他SPFx任务可能需要更强模型能力,但结论是:不应默认选择最大模型,任务专用指导可能让较小模型或路由器足够胜任。

智能体轨迹暴露“只读部分报告”问题

评测不仅看分数,还分析智能体的完整操作轨迹。团队发现,部分智能体生成CLI for Microsoft 365升级报告后只读取了一部分,导致项目升级不完整。为此,v1.1.2明确要求智能体读完整个报告直至最后的## Summary部分,即使需要多次读取。这一修改说明,仅靠分数无法定位失败原因,轨迹分析能揭示行为缺陷并指导技能迭代。

❓

Q&A

SPFx Dev Skills v1.1.2 主要更新了哪些内容?

v1.1.2 主要支持 SPFx v1.24.1,包括:为 SPFx v1.24.1 创建和升级项目;将现有 React 代码迁移到 React 18 API;更新工具链要求(如 Heft、依赖版本、Node.js 版本);完整读取并应用 CLI for Microsoft 365 升级报告;更新 Fluent UI v9 和 PnPjs 的建议。

SPFx Dev Skills 的评测是如何进行的?

评测针对一个升级场景:将现有 SPFx 项目升级到 v1.24.1。对每个智能体与模型组合,分别在不使用技能、使用 v1.0 和使用 v1.1.2 三种条件下运行升级,每个配置运行 5 次,共 105 次运行。评分基于升级后的项目与全新脚手架项目在依赖、配置和 React 18 API 变更上的匹配程度,部分正确得部分分。

使用 SPFx Dev Skills v1.1.2 后,各个智能体与模型组合的升级得分提升如何?

所有 7 种组合的得分均有提升。其中 6 种组合达到 100%,GPT-6.1 Terra 在 Copilot Chat 中达到 98%。例如,Copilot Chat 搭配 Sonnet 5.5 从无技能时的 47% 提升到 100%;GPT-6 Luna 从 27% 提升到 100%;Copilot Fusion 从 32% 提升到 100%。

低成本模型或模型路由器能否达到与昂贵模型相同的升级质量?

可以。在任务专用指导下,低成本模型或路由器能达到与昂贵模型相同的平均升级得分。例如,GPT-6 Luna 搭配 v1.1.2 得分 100%,每次运行成本约 $0.03;而 Opus 5.5 搭配 v1.1.2 得分也是 100%,成本约 $0.82,相差约 27 倍。Copilot Fusion 得分 100%,成本仅 $0.02,比 Opus 5.5 低约 41 倍。

评测轨迹发现了什么问题,促使团队修改技能?

评测轨迹显示,智能体知道使用 CLI for Microsoft 365 生成升级报告,但有时只读取报告的一部分,导致项目升级不完整。因此团队修改技能,明确要求智能体完整读取整个升级报告,直到最后的 ## Summary 部分,即使需要多次读取。

SPFx Dev Skills 未来的计划是什么?

未来计划包括:将评测扩展到更多 SPFx 开发场景,并随着智能体和模型的变化重新运行评测;根据证据决定保留或淘汰哪些指导;让评测对社区可用,贡献者可以在提交 PR 前测试技能变更对升级质量和成本的影响。

🏷️

标签

➡️

继续阅读