AI产品经理需从确定性思维转向概率性思维，掌握模型架构取舍，平衡延迟、成本与准确率；用产品画布筛选高价值低风险场景，判断自建、采购或组装并建模推理成本；建立评估体系与不确定性UX，开展红队测试；熟悉欧盟AI法案等合规要求，协调技术、法务与高管，以诚实态度对待不确定性。

本文讨论了AI代理的评估方法，强调评估需要明确的体系和标准。通过拆分问题，结合硬性规则、事实检查和主观质量评估，形成全面的评估框架。评估应涵盖政策符合性、事实覆盖和用户反馈等多个维度，以确保AI系统的回答准确且有帮助。此外，评估流程应包括离线和线上测试，以持续优化AI代理的表现。

研究表明，ChatGPT在决策效应和偏见方面与人类表现相似。GPT-4在论文审核中能有效识别错误，但在选择优质论文时仍存在误差。用户普遍认为GPT-4生成的反馈有帮助，但在系统综述中需谨慎使用。研究呼吁建立统一的评估体系，以应对大语言模型的社会影响和评估挑战。

华为云与中国信通院等机构合作推出国际上首个代码大模型的标准项目，旨在建立客观公平的评估体系，推动全球对代码大模型的认同和规范化应用。华为云在智能化软件工程领域持续研究，推出了更强大的代码大模型和智能编程助手CodeArts Snap。华为将继续与产业伙伴合作，推进代码大模型的发展。