人人都在采用AI智能体,却几乎无人能证明其投资回报率。原因如下

人人都在采用AI智能体,却几乎无人能证明其投资回报率。原因如下

💡 原文英文,约2200词,阅读约需8分钟。
📝

内容提要

Databricks专家Amber Roberts指出,智能体AI的价值在于业务上下文而非提速。企业急于规模化而忽视用例成熟度,导致ROI难显。生产力应衡量人借助AI助手完成的工作,并保留质量指标与人类判断。传统指标仍有效,但需补充AI专属评估。最大误区是未验证就扩张,实为准备度或基础设施不足。

🔎

延伸解读

ROI难显的根源:购买者与使用者脱节

文章指出,企业AI采用快但ROI难证明,部分原因是购买AI的人与日常使用它的人往往不是同一批。购买者出于竞争压力急于部署,但实际效果需要六个月到数年才能显现。当前许多组织正处于试错阶段,评估哪些用例真正有效。这种脱节导致投资决策与落地效果之间存在时间差和认知差。

生产力新定义:从个人产出到人机协作规模

传统生产力衡量单位劳动、时间和资本的产出效率。在智能体时代,生产力变为“一个人借助助手团队能完成多少工作”。文章强调,这并未取代领域知识,而是将同样的专业判断应用于更大规模。同时,若只提效率提升而不附质量指标,则意义有限,因为效率假设不以牺牲质量为代价。

业务上下文比速度更重要

文章用人类助理类比:没有上下文,助理无法做好工作。AI智能体同样需要业务上下文,如公司特定信息、历史记录和本地规则。通用AI工具能给出通用建议,但缺乏企业特定情境,对实际工作帮助有限。因此,智能体的价值在于理解业务上下文,而非单纯提速。

最大误区:未验证就扩张

文章指出,最常见错误是在用例尚未运行良好时就急于规模化。几个成功案例后,人们容易兴奋地想要推广,但“规模化”常被滥用。真正需要的是逐用例评估,有时根本不需要扩展。看似规模化的问题,往往是准备度不足或基础设施缺口,而非简单的复制问题。

❓

Q&A

为什么说用“更快”来衡量AI智能体的生产力是片面的?

因为生产力取决于团队的实际KPI,不同团队和个人的需求不同。速度只是其中一个维度,且“速度”本身含义多样(如开发速度与推理速度)。工程和营销的生产力不应使用同一标准衡量。

企业采用AI智能体后难以证明投资回报率(ROI)的原因是什么?

购买AI的人和日常使用它的人往往不是同一批人。购买者出于竞争压力急于采用,但实际部署后需要数月到数年才能验证ROI。许多组织正处于广泛推广和试错阶段,尚未找到有效用例。

在智能体时代,生产力应该如何重新定义?

生产力从衡量一个人能完成多少工作,转变为衡量一个人借助AI助手团队能完成多少工作。重点是将重复性、可调度的工作自动化,让人专注于需要判断力和创造力的部分。但必须附加质量指标,确保效率提升不以牺牲质量为代价。

AI智能体“理解业务上下文”为什么比速度更重要?

就像人类助理需要了解你的日程、历史等上下文才能做好工作一样,AI智能体若缺乏业务上下文,只能提供通用建议,无法解决企业特定问题。业务上下文使智能体能做出符合公司实际情况的决策,这是其价值所在。

企业领导者应如何衡量AI智能体部署是否成功?

传统指标如节省的时间、关闭的工单仍然有效,应作为基础。同时需增加AI专属指标,例如使用第三方LLM作为评判者,根据自定义标准检查正确性、幻觉、语气等,并自动标记边缘案例。

组织在扩展AI智能体时最常见的错误是什么?

最常见的错误是在用例尚未成熟时就急于扩展。许多看似扩展问题实则是准备度不足或基础设施缺口。应逐个用例评估,有时根本不需要扩展,而是需要先完善基础设施。

🏷️

标签

➡️

继续阅读