本文介绍了基于Amazon EKS和NVIDIA NIM的混合云大模型推理架构，强调本地GPU优先和云上弹性扩展的策略。通过KEDA和Karpenter实现自动扩缩容，优化成本和性能，满足中国客户需求。该方案解决了延迟、数据本地化和成本问题，提供统一监控和最佳实践，帮助企业有效利用现有GPU资源。

研究团队推出了Prefill-as-a-Service（PrFaaS），旨在解决大模型推理中的跨机房调度问题。该架构通过将Prefill计算卸载到专用集群，并利用普通以太网传输KV Cache，显著提升了吞吐量和降低了延迟。实验结果表明，PrFaaS在吞吐量上提升54%，P90延迟降低64%，有效支持长上下文场景。

美团技术团队在AAAI会议上发表了8篇论文，涉及大模型推理、退火策略和强化学习等领域，提出了多种优化模型推理效率和性能的方法，为研究者提供理论和实践参考。

第八届CCF开源创新大赛的「开源GPU创新生态赛」现已开始报名，旨在推动国产算力创新，聚焦GPU技术与开源生态的融合。赛事包括多个子赛题，特别是关注大模型推理性能优化的GPU开源生态挑战赛。开发者可通过验证任务提升国产GPU的生态适配，赛事时间为2025年9月15日至12月10日。

本文探讨了大模型推理的经济学，分析了推理成本的来源及其对盈利能力的影响。以LLaMA 3.3为例，讨论了模型参数、GPU需求及其对推理效率的影响。推理过程分为计算受限和内存受限两个阶段，强调了批处理在降低单位成本中的重要性。随着输入长度和批量规模的增加，推理成本与效率的关系变得复杂，理解这些因素对AI发展的经济影响至关重要。

随着 ARM 架构和量化技术的发展，CPU 在大模型推理中展现出性价比优势。AWS Graviton 实例与 llama.cpp 工具链的测试表明，CPU 在边缘推理和成本敏感型业务中表现优异，尤其在低延迟和小吞吐量任务中更具优势。Graviton 系列的硬件和软件优化进一步提升了 CPU 性能，未来在大模型推理领域有望持续发挥潜力。

本文介绍了在Amazon SageMaker上进行大模型推理的完整流程，以Llama 3模型为例。通过代码示例展示了配置推理参数到部署Endpoint的全过程，并介绍了SageMaker Endpoint的自动伸缩能力。借助SageMaker，可以实现高效、弹性的大模型推理服务。

本文分析了大模型推理的速度瓶颈，探讨了访存带宽与算力的关系。实测数据表明，推理速度受限于访存带宽，尤其在生成文本时，模型逐个处理token，导致并行性不足。以Mistral 7B为例，计算推理所需的最小时间，强调低精度量化可降低延迟。建议在设计推理系统时考虑访存带宽的影响，以优化性能。