麻省理工学院的研究人员发现，机器学习模型在新环境中可能出现重大失败，最佳模型在新数据中表现最差。研究表明，模型可能错误关联无关特征，导致决策偏差。研究者提出了OODSelect算法，以识别模型在不同设置中的表现差异，并建议未来工作采用该方法以提升模型性能。

Vercel的AI Gateway现支持备用模型，以应对模型失败或不可用的情况。备用模型能够处理错误和能力不匹配，按指定顺序尝试，直到请求成功或无选项可用。请求费用基于成功完成的模型。

有效的错误分析对计算机视觉和机器学习模型的成功开发至关重要。VibE是一种语义错误分析工作流程，旨在识别模型失败的原因，尤其是在缺乏标签的情况下。它通过生成语义子组、总结和互动分析等功能，帮助开发者理解和分析模型错误。