Claude
·
模型发布背后：客户在早期测试Claude Opus 4.6时发现了什么
💡
原文英文，约1100词，阅读约需4分钟。
📝
内容提要
在新Claude模型发布前，少数客户提前测试并评估其性能，反馈直接影响最终版本。测试显示模型在多个任务上表现优异且更具自主性，坦诚的反馈帮助Anthropic改进模型，客户与开发者共同塑造未来工具。
🎯
关键要点
- 在新Claude模型发布前，少数客户提前测试并评估其性能。
- 客户的反馈直接影响最终版本，帮助Anthropic改进模型。
- 测试显示模型在多个任务上表现优异且更具自主性。
- 不同团队采用不同的方法进行测试，目标是解决最困难的问题。
- 测试结果包括定量评估和定性反应，二者都很重要。
- 模型在法律任务和编程任务中表现出色，超出预期。
- 团队通过设计基准和复杂任务评估来获取结构化数据，同时进行“氛围检查”。
- 测试结束后，团队对模型的理解更加深入，关系发生变化。
- 客户与开发者之间的合作关系不断增强，客户的反馈被重视并用于改进模型。
❓
延伸问答
客户在测试Claude Opus 4.6时发现了哪些主要优点？
客户发现Claude Opus 4.6在多个任务上表现优异，尤其是在法律和编程任务中超出预期，显示出更强的自主性。
测试团队是如何评估Claude Opus 4.6的性能的？
测试团队通过定量评估和定性反应相结合的方法，使用基准测试和复杂任务评估来获取结构化数据，同时进行“氛围检查”。
客户反馈对Claude Opus 4.6的最终版本有什么影响？
客户的反馈直接影响了最终版本的改进，帮助Anthropic识别问题并进行迭代。
不同团队在测试Claude Opus 4.6时采取了哪些不同的方法？
不同团队采用了各自的测试方法，如bolt.new创建专用Slack频道，Harvey的团队引入法律专家进行法律任务测试，Shopify的工程师进行迭代规划。
Claude Opus 4.6在法律任务中的表现如何？
Claude Opus 4.6在法律任务中表现出色，Harvey的团队在BigLaw Bench测试中获得了90.2%的高分。
客户与开发者之间的关系在测试过程中发生了怎样的变化？
客户与开发者之间的合作关系不断增强，客户的反馈被重视并用于模型的改进，形成了更紧密的合作伙伴关系。
➡️
