负载均衡在大型语言模型（LLM）中与传统服务不同，主要由于提示缓存的存在。提示缓存能显著降低输入成本和延迟，但需要优化请求路由。文章探讨了缓存感知路由策略，强调精确前缀缓存路由的优势，以提高吞吐量。使用外部源如Redis可以实现高可用性和独立扩展。未来方向是实现跨副本共享缓存，以提升效率。

分区（sharding）通过将数据均匀分布在多个节点上，提高系统可伸缩性，避免热点和数据倾斜。为确保一致前缀读，需将因果相关的写入放在同一分区。可通过散列分区和在主键后加随机数来缓解热点问题。分区再平衡可手动或自动执行，以确保负载均匀分配。请求路由需解决服务发现问题，可通过协调服务（如Zookeeper）跟踪数据分配变化。

分区（sharding）通过将数据分散到多个节点来提升系统可伸缩性，避免热点和数据倾斜。常用的分区方法包括键值范围和散列分区。为消除热点，可以在主键后添加随机数。分区再平衡确保负载均匀，支持手动或自动执行。请求路由需解决服务发现问题，通常使用协调服务（如Zookeeper）跟踪数据分配的变化。

AI面临的主要挑战之一是记忆，影响模型的上下文保持和一致性。Databricks团队通过优化Kubernetes流量管理和客户端负载均衡系统，提高资源利用率和降低延迟，实现更智能的请求路由。

AWS推出了应用负载均衡器(ALB)的原生URL和主机头重写功能，简化请求路由，降低维护成本和延迟。用户可通过AWS管理控制台配置重写规则，实现流量精细控制。该功能在所有AWS区域可用。

反向代理是一种在客户端与服务器之间转发请求的服务器，主要用于保护真实地址、微服务架构的请求路由和负载均衡。nginx是常用的反向代理工具，通过配置可以实现不同域名之间的请求转发，支持多应用托管。

在代码审查中，作者质疑为何在API服务器中编写业务逻辑，而不是让微服务直接处理。微服务应独立处理特定功能，API网关负责请求路由和安全。API服务器在复杂场景中协调多个微服务的数据，或支持向微服务迁移时的遗留逻辑。若微服务自足且轻量，API网关可直接处理请求。

API网关类似于应用的接待员，负责管理客户端请求并将其路由到正确的服务。其主要功能包括请求路由、负载均衡、身份验证、速率限制和缓存。使用API网关的优点有集中控制、安全性增强和性能提升，但需注意单点故障和延迟问题。

Django通过URLconf实现请求路由，定义URL与视图函数的映射。使用path()函数匹配URL，支持动态参数和重定向。include()函数可引用其他URLconf，re_path()支持正则表达式匹配复杂URL。重定向可通过HttpResponseRedirect或redirect实现。