评估AI影响：致CFO的备忘录
内容提要
AI辅助软件开发成本高、回报未证实，支出差异可达十倍。企业应衡量成本与收益，建模ROI需跨部门协作，快速评估可测开发速度变化。需警惕指标误用、供应商锁定及长期隐性成本，应持续实验、测量并关注整体系统影响。
延伸解读
成本预测需考虑双向波动
文章指出，AI辅助开发的成本测量相对容易，但收益测量更难。当前部分token成本受到大量补贴，价格可能上涨；同时竞争也可能推动价格下降。因此，在预测ROI时，应同时考虑乐观和悲观成本情景，避免基于当前补贴价格做出过于乐观的假设。
速度指标易被误用
文章警告，简单的速度测量（如统计交付物数量或“velocity”变化）并不标准化，且容易导致测量功能失调。不应将这类指标用于评估团队或个人绩效，而应仅用于判断特定AI方法是否有效。评估外部案例时，需关注是否有随机对照等严谨方法，以及结果是否在多个团队中持续成立。
锁定与变更成本是长期风险
如果AI使开发速度加快，但增加了变更成本，最终可能得不偿失。供应商锁定也是一大风险：一旦锁定，若AI token成本上涨，企业可能面临高额账单或削减开发的两难选择。文章建议跟踪变更成本随时间的变化，并建模维护成本、人员流动等情景，以管理这些隐性风险。
Q&A
AI辅助软件开发目前成本高吗？回报是否已经得到证实？
AI辅助软件开发成本高昂，且潜在回报虽高但尚未得到证实。不同企业的支出差异可达一个数量级，从每人每月数百美元到数千美元不等。
如何评估AI辅助软件开发的投资回报率（ROI）？
评估ROI需要建模软件倡议的净现值，这要求领导层支持、跨部门参与，并做出一些有根据的猜测。模型不会完美反映真实价值，但能使假设具体化，并聚焦于资金投入的回报。
如果只想快速了解AI是否提升了开发速度，应该怎么做？
可以请工程负责人测量AI对软件交付速度的影响，并比较不同方法以找到速度与成本的最佳组合。但需警惕简单化的速度指标，应寻找随机对照等严谨证据，并关注多个团队的持续结果。
AI辅助软件开发可能带来哪些长期隐性成本或风险？
风险包括：AI可能加快开发但增加变更成本，导致总成本更高；供应商锁定风险，若AI令牌成本上涨，可能面临高额账单或削减开发；此外还需考虑维护成本、人员流动等意外后果。
使用AI开发指标时，如何避免测量功能失调？
不要将指标用于衡量团队或个人的绩效，而应衡量特定AI方法的效果。建立测量程序后，应从中学习，然后停止测量，避免指标被误用。
在预测AI成本时，应该考虑哪些情景？
应考虑乐观和悲观成本情景。部分令牌成本目前被大量补贴，价格可能上涨；竞争也可能推动价格下降。最快的方案未必最具成本效益，最佳投资可能涉及较低的人均交付速度但更低的令牌成本。
