本文介绍LLM应用中的错误处理与韧性设计。LLM输出具有概率性，除技术故障外，还存在语义错误（如幻觉、格式错误）。需分类处理：瞬时错误可重试（用指数退避和抖动），永久错误需报告，语义错误需验证。关键策略包括超时管理、回退机制、熔断器、速率限制、队列控制及幂等性，确保系统优雅降级。

GitHub因美国中部数据中心流量过高引发网络堵塞，叠加内部扩容机制缺陷和重试风暴，导致大规模长时间中断。Copilot因客户端异常重试，请求量暴增10倍，恢复最慢。GitHub将调整扩容和重试策略，并应对爬虫流量压力。

Anthropic将Claude的思考强度从高调调整至中等，虽然降低了单次成本，但复杂任务的错误率上升，导致用户重试次数增加，整体成本反而上升。用户体验与官方解释存在差距，用户感受到性能下降，而官方则强调响应用户反馈。这一变化反映了AI系统从能力最大化向成本优化的转变，用户需要主动调整使用策略以应对模型性能的变化。

本文介绍了如何扩展fetch()调用以应对真实网络挑战，包括处理慢网络、随机失败、重试、取消请求、速率限制、断路器、请求合并和缓存。使用库如ky和ffetch可以简化代码并提高请求的可靠性。建议从基本的错误处理和取消请求开始，逐步添加其他模式，以构建更具韧性的应用程序。

在单体应用中，函数调用是本地内存过程，执行几乎总是成功。但在分布式系统中，网络不可靠，可能导致请求失败。因此，需要采用防御性编程模式，其中重试模式是主要机制之一。重试可以提高可用性，但不当使用可能导致延迟增加和资源耗尽。本文将探讨重试模式的安全有效使用。

Workflow Development Kit现已公开测试，旨在简化持久、可靠的异步JavaScript应用开发。通过'use workflow'指令，开发者可轻松将函数转化为持久工作流，自动处理重试和状态维护，并支持调试和本地开发。

开发者在分布式系统中应掌握超时、重试和幂等性原则。超时控制资源消耗，重试需有限制以防过载，幂等性确保重复请求不改变结果。这些原则有助于应对复杂的分布式环境。

Spring Batch 6.0.0-M2发布，升级了依赖，改进了块处理模型和故障恢复功能，提供更稳定的块处理，支持重试和跳过策略，实现一致的作业执行恢复。

使用Go语言通过client-go库或exec.Command执行Kubernetes命令，处理API超时和错误时采用重试和退避策略。遵循最佳实践，如输入验证和结构化输出，以构建可靠的工具。Go语言是Kubernetes的开发语言，具备官方支持和强大社区，适合自动化任务。

Gateway API v1.3.0发布，新增请求镜像、CORS过滤、网关合并机制和重试预算等功能。标准通道确保高兼容性，实验通道用于新特性测试与验证。

在持续集成（CI）中，自动重试虽然能加快开发速度，但可能掩盖问题，降低团队对CI的信任。CI Insights工具帮助团队识别重试情况，了解测试失败的真实原因，从而增强信心和优化流程。

人类在失败时会本能地重试，分布式系统也应如此。重试瞬时错误可提高可用性，但若不加控制，可能引发“重试风暴”，加剧故障。因此，应在瞬时故障时重试，而对客户端错误和持续故障则应避免重试。可通过限制重试次数、使用断路器和动态调整重试率等方式防止重试风暴，确保系统稳定性。

在商业系统中，失败是常态，因此系统需具备自愈能力。重试机制是自我恢复的核心，但设计不当可能引发请求风暴。文章讨论了七种重试策略，如暴力循环、Spring Retry和Resilience4j，强调合理设计重试策略的重要性，以提升成功率和用户体验。