LLM Inference on Amazon EKS
内容提要
大语言模型（LLM）是一种基于深度学习技术训练的人工智能模型，具备强大的自然语言理解和生成能力。为解决LLM在自有环境中的部署和运行挑战，提出了基于AWS云原生服务的解决方案，提供生产级别的LLM推理环境，具备扩展性、可观测性和存储管理能力。
延伸解读
架构分层与职责
方案将 LLM 推理平台划分为基础设施、服务网格、应用和可观测性四层。基础设施层以 EKS 为核心，配合 ELB、EFS 和 Karpenter 实现资源管理与弹性伸缩；服务网格层通过 Kong 和 Istio 处理流量管控与发布策略；应用层包含自研网关及多种推理引擎；可观测性层则集成 Prometheus、Grafana、Loki 等工具。这种分层设计让各组件职责清晰，便于独立扩展和维护。
对 Text Generation WebUI 的改造要点
原生 Text Generation WebUI 面向单机环境，无法直接在 Kubernetes 中运行。方案对其进行了容器化封装，将模型数据持久化到 EFS 以解除与宿主机的耦合，并调整配置加载和日志输出以适配 K8s 调度与日志收集。此外，还增加了 Neuron 加载器，修改推理逻辑以调用 Neuron SDK，从而支持 AWS Inferentia/Trainium 芯片加速，降低推理延迟和成本。
自动扩缩的考量与配置
LLM 推理的自动扩缩需综合考虑算力类型、模型大小、量化方式、输入输出 token 数及推理参数等因素，难以设计通用完美方案。本方案以“单位时间请求数”作为 HPA 扩缩依据，并给出示例配置：缩容前有 5 分钟稳定窗口，扩容则立即触发，且每 15 秒最多扩容当前副本数的一倍或 4 个 Pod。生产环境应根据实际负载调整这些敏感参数。
方案验证与接口兼容性
方案通过提供 OpenAI 兼容的 HTTP 接口来验证 LLM 推理能力，用户可使用 /v1/completions 等标准端点进行调用。示例中展示了通过 curl 发送请求并获取生成结果，表明该平台能够以通用方式对外提供服务，便于现有应用集成。这种接口设计降低了迁移成本，使企业能更平滑地将 LLM 能力嵌入业务系统。
Q&A
大语言模型（LLM）是什么？
大语言模型（LLM）是一种基于深度学习技术训练的人工智能模型，具备强大的自然语言理解和生成能力。
在企业中部署LLM面临哪些挑战？
企业在部署LLM时面临复杂性、扩展性限制、可观测性缺失和存储管理成本高等挑战。
AWS云原生服务如何解决LLM的部署问题？
AWS云原生服务提供了一个生产级别的LLM推理环境，具备良好的扩展性、可观测性和存储管理能力，简化了部署过程。
该方案支持哪些开源框架？
该方案支持多种开源框架，包括Text Generation WebUI、vLLM和Text Generation Inference等。
如何实现LLM推理的高可用性和负载均衡？
通过自研的应用网关层，该方案实现了高可用性和负载均衡，并支持限流和认证等功能。
该方案的实施步骤有哪些？
实施步骤包括环境准备、控制面环境和数据面环境的安装与配置，具体步骤详见文档。
