帮助Anthropic找到自我定位的24小时实验

Anthropic 的产品负责人 Dianne Penn 认为，构建前沿 AI 与传统软件在需求定义上有什么关键区别？

传统软件通常先写产品需求文档（PRD），而前沿 AI 开发则用评估（evaluation）来取代 PRD。因为模型是概率性的，无法像确定性代码那样预先定义所有行为，所以团队需要为每个功能生成 30-40 个测试样例，并建立自动化测试系统来验证模型能力。

Anthropic 如何通过评估来捕捉模型能力的突然跃升？

Anthropic 的研究 PM 团队为每个主要功能生成 30-40 个代表性示例，编码为提示词和预期输出，作为 ground truth。然后开发人员构建持续集成管道和自动化测试基础设施，以编程方式对新模型构建进行大规模测试。这样即使模型能力出现突然跃升，团队也能及时发现，避免“产品积压”（product overhang）。

在测试 AI 模型时，团队面临哪些挑战？

团队在 QA 时往往需要阅读对话来理解模型决策，因为幻觉、过度自信的假设或工具调用失败可能产生相似的表象，但需要不同的修复方法。此外，模型可能表现出谄媚行为（sycophancy），即强化错误前提而不是纠正，这种行为可能通过测试并在生产中显现。

Anthropic 的管理者为什么需要亲身体验模型？

管理者需要定期使用模型，亲眼看到什么有效、什么无效，以保持对模型能力的直觉。否则，他们可能无法做出正确的架构决策。Penn 强调：“如果你不亲自构建，你就不会成功。”

Anthropic 是如何决定将编程作为重点方向的？

在 2023 年之前，Anthropic 与编程无关，但公司看到人们尝试用竞争模型解决编程任务，于是将编程作为 Claude 3 Opus 的主要焦点（2024 年 3 月发布）。这反映了从对话机器人转向真正助手的战略，即从“说”到“做”，最终促成了 Claude Code 和 Claude Opus 4.5 的推出。

Anthropic 的 Labs 团队是如何运作的？

Labs 团队于 2024 年年中成立，专门探索不符合常规产品路线图的实验性想法。他们的工作是研究基本概念，并设想其 10 倍、100 倍或 1000 倍的版本。团队保持极小规模，因为大型团队处理模糊的大想法会变慢。

“金门大桥”实验对 Anthropic 有什么意义？

研究人员激活了某个特定特征，导致 Claude 痴迷于金门大桥。在 24 小时内，跨职能团队在 claude.ai 上推出了一个实时消费者体验，虽然只触达约 2000 人，但 Penn 称其为“隐藏的转折点”，帮助公司找到了自我定位。

Dianne Penn 认为产品人员应该如何使用 Claude 作为思考伙伴？

Penn 经常使用研究版 Claude 来挑战自己的产品想法，她寻求的是分歧而非认可。如果模型指出她思维中的缺陷，那就说明它正在发挥作用。她认为思考伙伴不应只是同意你，而应增加价值，让你带着更好的想法离开。

Anthropic 认为产品人员的核心角色是什么？

Penn 认为产品人员的核心是用户导向，深入理解用户试图完成的目标，并以可操作的方式提炼出来，同时进行不懈的工作。她强调：“我们实际上需要更多这样的人。”