DeepSeek 开源高性能 TopK 算子库 DeepSelect，针对稀疏注意力中的闪电索引器和采样器两个场景优化，速度可达 torch.topk 的 2 至 20 倍。该库不绑定推理框架，可通过 pip 直接替换，结果稳定，并支持关闭排序和返回值以进一步提速，助力 V4.1 Flash 推理大幅加速。

视频生成模型的推理优化应从算子级转向计算图级，以提升整体执行效率。Self-Forcing模型采用逐块生成策略，降低计算复杂度。通过torch.compile实现整图编译，消除Graph Break，最终实现约47.6%的加速效果。

OpenAI以约1亿美元收购了仅有4名员工的AI医疗公司Torch，旨在整合医疗数据，提升ChatGPT Health功能。这一收购反映了AI技术的发展和独立创始人推动的“一人独角兽”时代的到来。

苹果推出了订阅服务Apple Creator Studio，整合多款创意工具，价格低于剪映一半。预计到2025年，App Store周活跃用户将超过8.5亿，服务业务创下新纪录。微信澄清通知头像功能，安卓版本已上线。OpenAI收购AI医疗应用Torch，估值约1亿。

本文介绍了加速深度变换器语言模型训练的两种技术：使用torch.compile()优化模型性能，以及通过梯度累积实现更大的有效批量大小。torch.compile()提升执行速度，梯度累积通过多次前向传播减少反向传播次数，从而节省时间。

摩尔线程发布了Torch-MUSA v2.7.0，增强了PyTorch深度学习框架的功能和性能，支持统一内存设备，算子超过1050个。新版本集成muSolver和muFFT，加速复杂计算，新增动态双精度转换和分布式检查点功能，优化内存使用和计算效率，未来将持续跟进PyTorch更新。

摩尔线程发布了Torch-MUSA v2.1.1，增强了对大规模深度学习模型的支持，优化了编译性能和内存管理，新增分布式训练和3D支持，简化了集成流程，提升了用户体验。

torch.compile 是 PyTorch 的即时编译器，旨在自动优化代码以提升大语言模型（LLM）的推理性能。它通过捕获张量操作生成优化内核，简化开发者的工作。vLLM 集成了 torch.compile，支持动态批量大小和自定义编译器传递，进一步提升性能。未来将改善稳定性和启动时间，推动推理性能的提升。

在深度学习中，训练方式包括模型并行和数据并行。使用torch进行数据并行时，可以选择torch.nn.DataParallel或torch.nn.DistributedDataParallel。本文主要介绍如何在Docker中使用torch.nn.DataParallel进行单机多卡训练，包括环境准备和代码调整。

torch.compile()和torch.export()是基于PyTorch 2.6的工具。前者为JIT编译器，灵活处理不可追踪部分；后者为AOT编译器，捕获完整图形，适合部署。两者在图形捕获、处理不可追踪代码和输出方面存在差异。

torch.export()用于提前编译Python可调用对象，生成功能图。它利用TorchDynamo进行字节码追踪，AOT Autograd功能化图形，并通过torch.fx.graph提供图形表示。ExportedProgram包含GraphModule和图签名，支持动态形状和序列化。使用export_for_training()可处理非功能操作，但存在无法追踪的代码和缺失的假内核等限制。

torch.compile是PyTorch 2.0后用于加速代码的技术，通过JIT编译优化为NVIDIA内核。首次运行可能较慢，但后续会加快。它由Torch Dynamo和Torch Inductor组成，减少Python开销并优化CPU-GPU通信。

本文介绍了Torch Inductor编译模型的基本知识和最佳实践。Torch Inductor通过即时编译优化PyTorch模型，支持动态形状和多后端选择，但存在无法保存优化模型和推理启动慢的缺点。AOTInductor可提前编译，显著降低延迟。建议使用torch.Tensor类型作为输入，简化前向传递逻辑，以提高编译效率。

摩尔线程发布了Torch-MUSA v1.3.0，全面兼容PyTorch 2.2.0，提升模型性能并支持国产GPU，用户可轻松迁移模型。Torch-MUSA开源，鼓励开发者参与改进，未来将持续跟进PyTorch更新。