反对基于变换器的人工智能的案例
内容提要
文章讨论了基于变换器的语言模型在客户服务中的应用，尽管成本低于人类，但采用率仍然较低。管理者因担心失业而对新技术持谨慎态度。评估模型能力时需关注数据平衡性和基准测试的困难。AI未来可能创造经济价值，但短期内需谨慎对待投资回报。
延伸解读
成本优势与采用障碍
文章指出，基于变换器的AI在客户服务中成本不到人类时薪的十分之一，但采用率仍然很低。原因在于呼叫中心管理者风险厌恶，担心失业，且后端系统陈旧。这提醒我们，技术推广不仅取决于成本，还受组织内部激励和风险感知的影响。
评估模型能力的难点
评估语言模型时，数据平衡性和基准测试的困难是关键。文章提到，由于数据不足或不平衡，模型在某些领域表现优异，在其他领域却很差。因此，不应被模型能创建待办事项应用或落地页所过度打动，这并不代表其具备通用能力。
基准测试的局限与数据污染
文章强调，硬基准测试很难，因为人们真正关心时，最佳模型在深度数学问题上解决率不到2%，而在超简单问题上得分55.5%。数据污染是另一个主要原因，它解释了在Putnam-AXIOM等难基准上不合理的高分。这提示我们需谨慎解读基准分数。
投资回报的谨慎视角
文章引用分析指出，AI基础设施投资与收入增长之间的差距已从每年1250亿美元扩大到5000亿美元，收入主要集中在OpenAI。作者警告不要相信AI能快速致富，并提到缺乏定价权、硬件快速折旧等问题，但承认AI长期将创造显著经济价值。
Q&A
基于变换器的语言模型在客户服务中的优势是什么？
基于变换器的语言模型在客户服务中的优势是成本低于人类，能够以更低的费用处理客户问题。
为什么管理者对基于变换器的技术持谨慎态度？
管理者担心失业，尤其是在呼叫中心，他们害怕新技术会取代大量人力，影响自己的工作安全。
评估基于变换器的模型能力时需要关注哪些方面？
评估时需关注数据平衡性和基准测试的困难，尤其是在数学问题解决能力方面。
短期内投资基于变换器的AI技术有哪些风险？
短期内需谨慎对待投资回报，避免对快速盈利的过度期待，可能面临资本损失的风险。
基于变换器的语言模型在未来可能带来什么经济价值？
尽管短期内需谨慎，但基于变换器的AI技术在未来可能创造显著的经济价值。
为什么基于变换器的模型在某些领域表现不佳？
由于数据不足或不平衡，模型在某些领域的搜索结果可能优秀，而在其他领域则表现不佳。
