调查：机器学习项目仍普遍部署失败
内容提要
2023年Rexer调查显示，机器学习项目部署成功率低：仅22%的“革命性”模型通常能部署，43%的数据科学家称80%以上此类项目失败，所有项目中仅32%通常部署。作者认为主因是项目初期缺乏部署规划、业务方缺乏可见性。仅48%的组织常衡量项目表现，且多用技术指标而非ROI等业务指标；仅49%受访者认为审批部署的管理者足够懂行。建议加强业务与技术协作，以部署为导向管理项目。
延伸解读
部署失败率背后的规划缺失
调查显示，仅22%的“革命性”机器学习模型通常能部署，43%的数据科学家称80%以上此类项目失败。作者认为主因是项目初期缺乏部署规划，业务方对项目如何改进运营缺乏可见性。这提示团队应在项目启动时就明确部署路径和业务价值，而非事后补救。
绩效衡量与业务指标脱节
仅48%的组织经常衡量分析项目表现，且多采用AUC、提升度等技术指标，而非ROI、收入等业务KPI。数据科学家虽认为业务指标最重要，但工具通常只提供技术指标。这种脱节导致业务方难以评估模型的实际价值，影响部署决策。
业务方决策能力不足
仅49%的受访者认为审批部署的管理者足够懂行。业务方常因缺乏上下文框架而对部署犹豫，担心模型不完美。作者建议提升业务人员的半技术理解，使其能与数据科学家协作，共同明确预测目标、效果及行动方式，从而推动部署。
Q&A
机器学习项目部署成功率到底有多低？
根据2023年Rexer调查，仅22%的数据科学家表示他们的“革命性”模型（旨在实现新流程或新能力）通常能部署；43%的人称80%以上的此类项目失败。在所有类型的机器学习项目中，仅32%的模型通常能部署。
为什么很多机器学习项目无法成功部署？
文章认为主要原因是项目初期缺乏部署规划，以及业务方缺乏对项目如何改善运营和预期价值的可见性。此外，仅48%的组织经常衡量项目表现，且多用技术指标而非业务指标；仅49%的受访者认为审批部署的管理者足够懂行。
业务方在机器学习项目部署中需要了解什么？
业务方需要了解机器学习将如何精确改善运营以及预期能带来多少价值，以便在部署前参与项目执行并在最终批准部署时做出明智决策。此外，他们还需要半技术性的背景知识，以便与数据科学家深度协作，共同确定预测目标、预测效果以及如何利用预测改进运营。
为什么机器学习项目常用技术指标而非业务指标来衡量？
因为机器学习工具通常只提供技术指标，如提升度和AUC，这些指标对业务方来说晦涩且不相关。尽管数据科学家认为ROI和收入等业务KPI最重要，但实际测量中技术指标更常见。技术指标只反映模型的相对性能，而业务指标才能体现模型预期的绝对业务价值。
如何提高机器学习项目的部署成功率？
文章建议加强业务与技术协作，以部署为导向管理项目。具体包括：从项目开始就详细规划运营化并积极追求；让业务方获得可见性并提升其半技术理解；建立跨企业协作文化和部署导向的项目领导力。作者在《AI Playbook》中提出了名为bizML的六步实践方法。
Rexer调查中关于管理者审批部署的能力有何发现？
调查显示，仅49%的受访者认为审批模型部署的管理者“大多数时候”或“总是”足够懂行，能以明智的方式做出决策。这表明许多管理者缺乏必要的上下文框架，导致在授权部署时犹豫不决，项目因此失败。
