DeepSeek AI 开源周推出了三个项目：DualPipe 双管道并行算法、EPLB 专家并行负载均衡器和性能分析工具。DualPipe 通过减少管道气泡来提升效率，EPLB 则优化模型性能以确保负载均衡。

C++17引入了类模板参数推导、constexpr lambda、内联变量、嵌套命名空间和结构化绑定等新特性。新库特性包括std::variant、std::optional、std::any和std::string_view，增强了类型安全和可选值管理。此外，支持并行算法和文件系统操作，提升了性能和便利性。

本文介绍了一种新方法，使用固定位置编码来确定注意力权重，称为位置注意力。该方法解决了神经网络在算法任务中泛化性能差的问题，提升了超出分布的表现，并保持模型的表现力，使变换器能有效模拟并行算法。

本研究针对在背包约束下非单调子模极大化问题，提出了一种高效的并行算法，有效将现有并行算法的最佳近似因子从$8+\epsilon$提高到$7+\epsilon$，且具备$O(\log n)$的自适应复杂度。通过构建新的交替阈值算法框架，该算法在保证自适应复杂度的同时显著提升了解的质量，在收入最大化、图像摘要和最大加权切割等多个应用上进行了广泛的实验研究，展现出优越的性能。

MindSpeed开发了一种优化训练大型模型的解决方案，特别是长序列。他们改进了并行算法、计算效率、内存使用和通信，以支持使用数百万个长序列进行训练。他们的解决方案包括支持三种并行算法，FlashAttention用于高效计算注意力，内存优化技术和P2P通信优化。MindSpeed旨在加速大型模型的分布式训练。

CUDA cooperative groups是一种允许开发人员创建和管理可以互相同步和通信的线程组的功能。它提供了一种比传统CUDA编程模型更灵活和高效的方式来编写GPU上的并行算法。本文介绍了使用cooperative groups在CUDA中实现并行归约算法的方法。

本文介绍了有序分类量化的研究。作者创建了两个新的数据集，并对现有算法进行了实验比较。他们提出了一种新的正则化算法，取得了较好的性能。通过多个实际应用案例验证了他们的假设。

该论文介绍了一种使用LSS Transformer进行分布式训练的方法，通过将长序列分布到多个GPU上进行计算，并使用融合通信和双梯度平均技术，提高了训练效率和减少通信开销。在Wikipedia enwik8数据集上，该方法在144个Nvidia V100 GPU上实现了5.6倍的加速和10.2倍的内存效率。在3,456个GPU上可扩展到长度达到50,112的极限序列，实现了161%的超线性并行效率和32 petaflops的吞吐量。

本研究提出了一种高效构建树状图的新型并行算法pandora，通过递归树合并和GPU加速实现，使其在处理倾斜树时更快。pandora的多线程版本快2.2倍，GPU版本在amdgpu上快6-20倍，在nvidiagpu上快10-37倍，使hdbscan在GPU上速度提升6倍。

该研究提出了一种新的神经网络正则化方法——权重共享正则化，并使用新的并行算法进行近端映射，具有指数级加速度。实验表明，该方法可以使全连接网络学习类似卷积操作的滤波器。

该研究提出了首个对抗鲁棒算法，用于解决单个和多个背包约束下的单调次模最大化问题。该算法具有可扩展的分布式和流式实现，并在性能评估中展现出优越的结果。

我们都知道圆周率pi的值是3.141592653...，那么这个值是怎么算出来的呢？一种方式是通过某种方式算出圆的面积或者周长，然后根据公式 …