普林斯顿团队发现英伟达B200 GPU因软硬件不匹配导致60%算力浪费,利用率仅为20%-30%。经过FlashAttention-4算法优化后,利用率提升至71%。该算法通过改进指数运算和内存管理,显著提高计算效率,并将编译速度提升至30倍。
在NVIDIA GTC展会上,我们展示了基于MAX框架的FLUX图像生成和Mojo编程的CUTLASS内核移植。DeepSeek V3在云端运行,提供实时指标,欢迎到3004号展位交流。
加州大学圣地亚哥分校的Hao AI实验室获得NVIDIA DGX B200系统,提升了大语言模型推理研究。该系统加速了FastVideo和Lmgame基准,推动低延迟LLM服务的探索。研究人员通过分离预填充和解码任务,优化了系统性能,改善了用户体验。
特斯拉Dojo 2芯片即将量产,性能提升10倍,接近英伟达B200,可能实现自研算力,减少对英伟达的依赖。Dojo 2将加速FSD训练,未来还将推出更强的Dojo 3,对汽车行业AI基础设施发展具有重要启示。
AMD发布了MI350X和MI355X两款AI芯片,性能超越英伟达B200,推理速度快30%。新芯片采用3nm工艺,内存容量是B200的1.6倍,功耗更低。预计明年推出MI400系列,速度提升可达10倍。
AWS推出了支持NVIDIA B200的Amazon EC2 P6-B200实例,专为AI、机器学习和高性能计算设计。该实例配备8个NVIDIA B200 GPU和1440GB内存,性能是P5en实例的两倍,适合大规模AI训练和推理。用户可在美国西部区域预留容量块,并支持与多种AWS服务集成。
Super Micro Computer, Inc.(SMCI)宣布其NVIDIA HGX B200 8-GPU系统在MLPerf Inference v5.0基准测试中表现优异,液冷和风冷系统的性能超过H200系统3倍,新冷却技术显著提升了冷却能力,支持更高密度和性能。
在GTC大会上,老黄发布了新AI芯片GB300,其推理性能是GB200的1.5倍,并预览了下一代芯片Vera Rubin。英伟达还推出了DGX Spark和DGX Station两款个人AI超级计算机,支持高效AI运算。同时发布了NVIDIA Dynamo开源库以加速推理,提升性能。大会还探讨了自动驾驶和量子计算等前沿技术。
英伟达5090显卡配备32GB GDDR7内存和21760个CUDA核心,功耗600W,引发对散热和噪音的担忧。相比之下,5080显卡有16GB内存。5090可能采用双芯片封装技术,基于3nm Blackwell架构,支持GDDR7内存,预计2025年后发布,需PCIe 5.0插槽。尽管功耗高,仍被看好在游戏和AI领域的应用潜力。
英伟达推迟了最强芯片B200的发布,推出了阉割版B200A以满足中低端AI系统需求。B200A的内存带宽缩水一半,原因是封装工艺由CoWoS-L退回CoWoS-S。B200训练大模型面临挑战,如耗电、散热、网络设计等。英伟达回应称Hopper需求强劲,Blackwell样品试用已开始,产量有望下半年增加。
英伟达推出了Blackwell B200 GPU和GB200超级芯片,提供了更高的性能和能效。B200 GPU提供20 petaflops的FP4算力,而GB200则将两个GPU与一个Grace CPU结合,性能提升30倍。英伟达的目标是拥有更大设计的公司,如GB200 NVL72,提供720 petaflops的AI训练性能。亚马逊、谷歌、微软和甲骨文计划在其云服务中提供NVL72机架。英伟达的系统可以扩展到数万个GB200超级芯片。
完成下面两步后,将自动完成登录并继续当前操作。