亚马逊CEO贾西预计，未来两三年将出现6至8个能力相近的前沿AI模型，企业会按任务混用多个模型而非绑定单一供应商。Bedrock聚合超100个基础模型，提供统一API，并保护客户数据不用于训练。该服务增长迅速，年同比支出近7倍、token量增近17倍，多数流量已运行在自研Trainium芯片上。

在PyTorch大会上，谷歌开源TorchTPU，AWS发布TorchNeuron公测版，二者均提供原生PyTorch后端，便于开发者将模型迁移至TPU和Trainium芯片，减少对英伟达GPU的依赖。但迁移虽较简单，达到峰值性能仍需针对芯片优化，例如TorchTPU默认方案性能损失约30%至40%。

SGLang与AWS合作推出基于TorchNeuron构建的Trainium插件测试版，支持在Trainium2/3上进行LLM推理服务和强化学习rollout生成，已支持Qwen3、DeepSeek-V2-Lite、GLM等模型及数据/张量/专家并行、Radix缓存、FP8等功能。该插件还支持异构RL：rollout在Trainium运行，策略训练在GPU上进行，提升资源规划灵活性。测试版目前限量开放申请。

AWS推出Trainium芯片，采用NKI编程规则，改变AI芯片编程方式。与传统CUDA不同，NKI允许开发者描述计算逻辑，编译器自动优化任务分配。Trainium芯片通过NeuronCore提升计算效率，减少程序员手动调节。未来AI编程将更注重目标设定，编译器将成为关键角色，推动软硬件协同设计。

AWS宣布与OpenAI和Anthropic达成长期合作，推出新产品Bedrock，整合GPT-5和Codex，提升云端AI推理能力。两家公司将使用AWS的Trainium芯片，增强基础设施的安全性和性能，推动AI模型的云原生推理。

亚马逊云科技的HAMi中间件通过支持多种加速设备（如Neuron芯片），实现了异构算力的统一管理与调度。其核心特性包括双重粒度共享和策略性拓扑调度，显著提升资源利用率并降低运维复杂度。HAMi v2.7.0深度集成Neuron芯片，优化调度策略，确保高效算力调度体验。

亚马逊向 AI 初创公司 Anthropic 再投资 40 亿美元，总投资达 80 亿美元。双方将合作开发 Trainium 芯片，以支持 Anthropic 的 AI 模型训练。尽管面临资金压力，Anthropic 仍与 AWS 扩大合作，提升产品，此投资引发监管机构关注。

Amazon EC2 Trn1实例基于Trainium芯片，为深度学习模型训练提供高性能、低成本的解决方案，训练成本比GPU低50%。支持多种机器学习框架，适合大规模数据集。AWS SageMaker简化模型构建与部署，Neuron容器优化训练环境。

本文探讨了如何利用AWS Neuron SDK加速机器学习模型训练，重点在于自定义内核的开发。AWS Neuron SDK提供Neuron Kernel Interface (NKI)和自定义C++操作符，帮助开发者优化低级操作，提高在Trainium和Inferentia上的运行效率。通过示例展示了GIOU操作的自定义实现，结果表明自定义内核显著提升了性能。

本文探讨了如何通过AWS Neuron SDK在AWS Inferentia芯片上优化机器学习工作负载。采用多进程数据加载、批量大小优化和混合精度等技术，实验表明性能提升可达435%。强调选择合适的平台和优化策略以最大化计算能力的重要性。

生成式人工智能正在改变企业运作方式，也在人工智能领域中推动创新。AWS Trainium是一个解决方案，可以降低训练成本并优化性能。使用Amazon EKS和AWS Trainium的分布式训练架构可以实现高性能和高成本效益的模型训练。通过AWS Trainium，开发人员可以最多降低50%的训练成本。

通联数据与亚马逊云科技合作，使用Trainium芯片对Llama2进行了继续预训练，取得了良好结果。Trainium芯片具有高计算能力和成本效益，支持与TensorFlow和PyTorch等流行框架的本地集成。预训练过程中可能遇到问题，可以通过分析日志和检查节点初始化情况进行故障排除。

本文介绍如何使用Amazon ECS在容器中运行机器学习训练作业，包括预置ECS集群、构建自定义容器映像、创建任务定义和在Amazon ECS上运行任务。同时介绍了Neuron SDK和Amazon ECR的使用方法。

本文介绍了如何使用Amazon SageMaker和LMI容器在AWS Inferentia2上部署生成式人工智能模型GPT4ALL-J。作者演示了如何使用DJLServing和transformers-neuronx加载模型、对模型进行分区和提供服务。Inf2实例提供了在AWS上运行生成式人工智能模型的最具成本效益的方式。