在Kubernetes中，GPU成本最高但最难按工作负载分摊。DCGM默认按物理设备上报，共享GPU时各Pod数据重复，无法准确归因。GPU按整数分配、不支持超卖，利用率指标也易误导。目前最可靠的是按显存计费，计算量仅作参考。共享方式包括时间切片、MPS、MIG和DRA，各有局限。

微软发布第三代自研AI芯片Maia 300，主打AI推理，能效比领先GPU系统40%，96加速器配置吞吐量达Maia 200的7倍。该芯片采用台积电N2P工艺与芯粒架构，2027年起大规模部署，将成为微软产品主要AI推理系统，减少对英伟达和AMD依赖，并支持自家AI模型研发。

摩尔线程为FFmpeg、PyNvVideoCodec、TorchCodec三个开源项目完成MUSA平台原生支持，覆盖视频编解码、硬件加速与转码，为多媒体处理、Python视频开发和PyTorch视频AI提供国产GPU加速，降低迁移成本，项目已在GitHub开源。

论文提出Minions系统，将多台macOS设备中闲置的Apple Silicon GPU聚合成分布式虚拟GPU云，用于大规模机器学习推理，支持灵活任务执行、容错和高效资源利用，无需额外采购GPU，在集中式GPU资源受限时提供实用方案。

硅谷AI算力争夺加剧。Anthropic向SpaceX购买算力，马斯克成为GPU中间商；谷歌因算力不足流失顶尖研究员Shazeer至OpenAI；初创公司被迫签高价长约或全球寻找算力，顶级VC亲自囤积GPU。H100租赁价一年涨近40%，算力正成为AI时代准入门槛，强化大公司优势。

亚马逊ECS内置自动故障恢复机制：检测并修复GPU故障和实例失联，跨可用区均衡任务，容器崩溃时就地重启，日志默认非阻塞以避免拖垮应用。ECS负责常规恢复，同时保留用户控制权，并集成FIS用于故障测试。

OpenAI推出GPT-6 Astra Ultrafast，运行于NVIDIA Blackwell GPU，通过持续推理优化，令牌生成速度比标准模式快8倍。该模型已上线OpenAI API，面向ChatGPT Work和Codex用户，可加速代码生成、工具调用和交互应用。OpenAI还利用自身模型优化GPU推理软件，提升性能与基础设施利用率。

英伟达AI工厂每兆瓦建造成本约6000万美元，投资回报取决于产能、寿命和需求。其平台具备高产、耐用、通用三大特性：每兆瓦吞吐量最高、每token成本最低；GPU多年后仍可创收；可运行各类AI及非AI负载。全栈协同设计与CUDA软件持续优化，使旧硬件不闲置，从而最大化回报。

GitHub热门开源项目Colibrì是一个纯C实现的分层推理框架，通过将MoE模型不常用的专家权重存放在SSD、常用部分缓存在RAM/VRAM，使低配设备也能运行超大模型。它支持GLM-5.2、Kimi K3等9个模型，最低16GB内存即可运行744B模型，无需GPU，并采用LRU缓存与专家预测提升速度。

Inferact团队为谷歌TPU v7开发megakernel推理内核，将数百个小程序合并为一个大程序，消除调度间隙并实现跨层权重预取。16块TPU运行Kimi K3达每秒709 token，比GB200快57%，且精度无损。该团队源自vLLM，获a16z领投1.5亿美元融资，代码已开源。

按小时租用GPU算力已成主流。2026年一季度国内AI算力需求同比增长417%，供给仅增128%。算力平台分为国家超算、专业GPU云、大厂云和海外四类，T4实例约1.2元/小时起。模力方舟提供国产GPU按量计费，约4元/小时，支持预装镜像，适合信创合规场景。

vLLM 推出硬件无关模型层，采用双轨架构：热门模型走硬件专用路径以提升性能，长尾模型和非主流加速器保留通用可编译路径。官方称在 H100 上三种模型吞吐差距不超过 3.4%。建议建立模型—硬件兼容矩阵，用真实流量验收正确性、吞吐、P99 和显存，并锁定提交版本。

在GPUStack生态大会上，CTO梁胜提出大模型时代GPU虚拟化与分区是否仍重要的问题。HAMi社区成员认为，模型规模增大与GPU分区重要性提升可以并存，二者并不矛盾。

Triton是一种基于Python的并行编程语言和编译器，用于高效编写自定义DNN计算内核，并在现代GPU上实现最大吞吐量。其triton.language.fma(x, y, z)函数执行逐元素融合乘加运算。

AMD软件副总裁Anush Elangovan介绍ROCm——AMD统一开源GPU软件工具链。他指出，智能体AI正大幅降低底层硬件编程门槛，让更多人能编写GPU代码，并推动软硬件开发周期快速趋同。

大模型推理选型应先明确服务目标、流量与运维责任，而非先选GPU。AWS提供托管端点与HyperPod两条路线：前者省运维、易上线，后者控制强但需平台能力。选型应基于真实负载压测，关注TTFT、尾延迟和每千次成功任务成本，并明确故障责任归属。

vLLM 通过集成 PyNvVideoCodec 正式支持 NVIDIA GPU 硬件视频解码（NVDEC），将视频解码从 CPU 迁移至 GPU，解决视频描述任务的 CPU 瓶颈。在 8 块 H100 配置下，吞吐量达 CPU 解码两倍以上；此前不足 4 卡即受制于 CPU，现瓶颈消除。该功能随标准 CUDA 版 vLLM 提供，需安装 PyNvVideoCodec==2.0.4，并建议先启动 CUDA MPS 守护进程。

该方案提供一键自助的短时GPU推理测试环境：用户在React门户选择机型与部署方案，平台通过Spot容量和轮询器抢占H200/B300实例，经SSM以docker compose部署SGLang服务，就绪后推送endpoint并发送飞书通知，用完即释放。预约与状态存入DynamoDB并留痕，同时设置并发上限和超时清理以防浪费，解决GPU紧缺、工单慢、缺审计三大痛点。