如何应对LLM应用中的错误与故障
内容提要
本文介绍LLM应用中的错误处理与韧性设计。LLM输出具有概率性，除技术故障外，还存在语义错误（如幻觉、格式错误）。需分类处理：瞬时错误可重试（用指数退避和抖动），永久错误需报告，语义错误需验证。关键策略包括超时管理、回退机制、熔断器、速率限制、队列控制及幂等性，确保系统优雅降级。
延伸解读
语义错误：LLM应用特有的挑战
传统软件的错误处理主要针对技术故障，但LLM应用还需应对语义错误，如幻觉、格式错误等。这类错误在技术上成功，但结果不可用或错误。文章强调，仅依赖异常捕获无法检测这些问题，需要额外的验证机制、可信数据源或人工介入。这提醒开发者，在构建LLM应用时，必须将输出验证作为核心环节，而非事后补救。
错误分类是有效处理的前提
文章提出将错误分为瞬时、永久和语义三类，并针对不同类型采取不同策略：瞬时错误可重试，永久错误需报告，语义错误需验证或人工审查。这种分类方法有助于避免盲目重试带来的成本浪费和系统过载。例如，对于认证失败等永久错误，重试毫无意义，应记录并告警。开发者应建立清晰的错误分类体系，以指导自动化处理流程。
重试策略需谨慎设计
重试是提高韧性的常用手段，但需防止无限重试和流量高峰。文章推荐使用指数退避和抖动，以分散重试请求，避免对服务造成二次冲击。同时，并非所有错误都适合重试，如认证失败、无效输入等永久错误应直接处理。合理设置重试次数和延迟，能有效平衡可用性和资源消耗。
优雅降级与回退策略
当主模型不可用时，回退到备用模型或缓存响应，是保证服务连续性的重要手段。但文章强调，回退策略不能违背原始需求，例如用小型模型处理复杂法律文件可能不恰当。此外，应避免主备模型依赖同一供应商，以防单点故障。设计回退路径时，需根据任务场景选择合适方案，并确保降级后的体验可接受。
Q&A
LLM应用中的错误处理与韧性设计是什么？
错误处理是程序在出错时决定采取何种行动的部分，如重试、显示错误信息或使用备用模型。韧性设计则是指系统在部分组件失败时仍能继续运行的能力，通常通过优雅降级实现，例如使用备用模型或缓存响应。
为什么LLM应用需要特殊的错误处理？
因为LLM的输出是概率性的，即使API调用成功，响应也可能在语义上错误，如幻觉、格式错误或违反业务规则。传统错误处理只关注技术故障，而LLM应用还需处理语义故障。
LLM应用中常见的错误类型有哪些？
常见错误包括：无效用户输入、网络故障、超时、速率限制、服务端故障、认证失败、上下文长度超限、格式错误输出、幻觉导致的不正确信息，以及工具调用失败或部分完成。
如何对LLM应用中的错误进行分类并采取相应措施？
错误可分为瞬时错误、永久错误和语义错误。瞬时错误（如网络问题、速率限制）可重试或使用回退；永久错误（如无效凭证）需报告并修正；语义错误（如幻觉）需验证、修复或人工审查。
在LLM应用中，如何正确实现重试机制？
重试应限制次数，并使用指数退避和抖动来避免同时重试造成流量高峰。重试适用于瞬时错误，如超时、网络故障、429和部分5xx错误，不适用于永久错误如无效凭证。
LLM应用中的回退机制和优雅降级是如何工作的？
回退机制是当首选路径失败时使用备用路径，例如先尝试高质量模型，不可用则切换到较小模型，再不行则返回缓存或预定义响应，最后可转人工。优雅降级确保系统在部分失败时仍能提供有限功能，如旅行助手在模型不可用时显示通用指南。
熔断器在LLM应用中起什么作用？
熔断器用于防止对故障服务的持续调用，它有闭合、打开和半开三种状态。当服务不健康时，熔断器打开，请求被快速拒绝或重定向；半开状态允许少量测试请求以检测恢复。这有助于避免资源浪费和级联故障。
LLM应用中如何通过速率限制、队列和并发控制来管理负载？
速率限制控制用户请求频率，并发控制限制同时处理的请求数，队列存储超出能力的请求。交互式请求应优先于后台任务，并需限制令牌使用、文档大小等，以避免资源耗尽。
