小红花·文摘

DeepSeek AI 开源周推出了三个项目：DualPipe 双管道并行算法、EPLB 专家并行负载均衡器和性能分析工具。DualPipe 通过减少管道气泡来提升效率，EPLB 则优化模型性能以确保负载均衡。

DeepSeek AI开源周4/5：开源管道并行算法和专家并行负载均衡器等

蓝点网 ·

本研究针对在背包约束下非单调子模极大化问题，提出了一种高效的并行算法，有效将现有并行算法的最佳近似因子从$8+\epsilon$提高到$7+\epsilon$，且具备$O(\log n)$的自适应复杂度。通过构建新的交替阈值算法框架，该算法在保证自适应复杂度的同时显著提升了解的质量，在收入最大化、图像摘要和最大加权切割等多个应用上进行了广泛的实验研究，展现出优越的性能。

非单调子模极大化的改进并行算法及其背包约束

BriefGPT - AI 论文速递 ·

本文介绍了有序分类量化的研究。作者创建了两个新的数据集，并对现有算法进行了实验比较。他们提出了一种新的正则化算法，取得了较好的性能。通过多个实际应用案例验证了他们的假设。

该论文介绍了一种使用LSS Transformer进行分布式训练的方法，通过将长序列分布到多个GPU上进行计算，并使用融合通信和双梯度平均技术，提高了训练效率和减少通信开销。在Wikipedia enwik8数据集上，该方法在144个Nvidia V100 GPU上实现了5.6倍的加速和10.2倍的内存效率。在3,456个GPU上可扩展到长度达到50,112的极限序列，实现了161%的超线性并行效率和32 petaflops的吞吐量。