内容提要
本文探讨AI工具采用率与实际价值脱节的问题。作者指出,仅看使用量或代码生成比例会误导,真正有效的采用是团队永久改变工作流程,如将提示词作为共享版本化资产。建议通过评分评估工作流、每人永久移除一项重复任务,并停止报告使用量,转而关注实际成果。
延伸解读
采用率指标的陷阱
文章指出,常见的AI采用率指标如令牌消耗、代码生成比例等,容易受到古德哈特定律的影响:当数字成为目标,它就不再反映现实,而是反映激励。例如,团队可能为了达到覆盖率而编写无意义的测试,类似地,AI使用量上升可能只是员工为了迎合指标而做出的表面行为。因此,仅凭这些数字判断AI采用效果是危险的,需要更深入的评估。
从个人使用到团队规范
文章将AI采用分为三个层次:个人改变工作流程、永久移交重复任务、团队有意识地改变流程。只有第三层能抵御人员流动和压力,因为它不依赖个人热情,而是成为团队规范。例如,将提示词作为共享的版本化资产,像代码一样维护,这样新员工能继承最佳实践,改进也能惠及全员。这需要公开承认旧方法不如新方法,并承担变革风险。
工作流评估与成果导向
文章建议通过评分工作流来评估AI的实际效果,而不是依赖基准测试。基准测试只能说明模型通用能力,无法反映特定团队的具体工作流。应使用自己领域的真实案例,按既定评分标准定期评估。同时,建议停止向上汇报使用量,转而汇报实际成果,即使成果数字不如使用量好看。这有助于避免指标失真,真正关注价值创造。
Q&A
为什么说AI采用率不等于AI使用?
因为采用率只反映使用量或代码生成比例,但真正有效的采用是团队永久改变工作流程,如将提示词作为共享版本化资产。如果只是使用量上升而工作方式未变,那只是订阅而非采用。
如何判断一个团队是否真正采用了AI?
可以问:如果明天移除这些工具,什么会坏?如果答案是“没什么,只是有点不便”,那只是订阅。真正的采用是团队永久改变工作流程,比如将提示词作为共享版本化资产,并让新成员继承最佳实践。
AI采用有三个层次,分别是什么?
第一层:个人改变自己的工作方式,如用AI写提交信息,但压力下容易回退。第二层:个人永久移交重复任务给工作流,但会随人离开而消失。第三层:团队有意识地改变流程,并写入文档,能抵御人员流动和困难时期。
为什么很多AI采用会失败?
因为杠杆集中在任务开始阶段,从空白到初稿变快,但初稿到可交付并不变快,导致人们并行启动多个任务,最终在审查阶段成为瓶颈,反而更忙更不确定。这导致人们悄悄放弃,被误诊为培训不足。
如何评估AI工作流是否有效?
用评分而非基准测试。从自己的领域取几十个真实案例,按写下的评分标准打分,每次更改提示词或模型时重新运行。关键是有一个能理解其变化的数字,而不是依赖模糊的感觉。
Webflow是如何将提示词作为共享版本化资产的?
Webflow将提示词从个人草稿文件移到代码仓库中,像代码一样管理,有所有者、使用说明和变更审查。这样新工程师能继承好的提示词,改进也能惠及所有人,而不依赖个人热情。
团队应该采取哪些具体行动来真正采用AI?
1. 每人永久移除一项重复任务,让工作流成为记录所有者。2. 本季度正式制定一个团队规范,并写入文档。3. 停止向上报告使用量,改为报告使用量本应产生的成果,即使数字不好看。