HyperAI 超神经主办的 Meet AI Complier 技术沙龙已举办至第七期，重点讨论分布式训练中的通信效率与 Python 编程。郑思泽介绍了 Triton-distributed 的优化策略，强调通信与计算的重叠机制，以提升整体效率。该项目旨在解决分布式系统的性能瓶颈，推动技术进步，欢迎开发者参与。

本研究提出了一种新的参数高效微调技术，以解决联邦学习中基础模型适应特定任务所需的高计算资源问题，并分析其在数据异质性和通信效率等挑战中的应用，强调其在隐私敏感领域的重要性。

本研究提出FedSAUC更新控制方法，通过聚类相似模型设备，选择代表性设备进行信息更新，有效降低电池和带宽消耗，提升通信效率。

本研究提出了AgentDropout方法，旨在提高基于大语言模型的多智能体系统的通信效率和任务性能。通过优化邻接矩阵，识别并消除冗余代理，实验结果表明，该方法使令牌消耗降低21.6%，任务表现提升1.14，验证了其有效性。

DeepSeek 开源了适用于 MoE 模型的通信库 DeepEP，旨在提升训练和推理过程中的通信效率。该库支持快速数据交换、低延迟和高吞吐量，优化了 GPU 资源使用，适合大型模型的分布式训练。

本研究提出了一种新的混合查找专家架构（MoLE），旨在解决混合专家模型在推理时对大量专家的依赖问题。MoLE通过重参数化专家为查找表，提高了通信和显存效率。实验结果表明，MoLE的推理速度与稠密模型相当，且显著快于传统的混合专家模型，同时保持了性能水平。

本研究提出了一种投机性MoE方法，旨在提高大规模混合专家推理的通信效率。通过投机性标记洗牌和专家预调度，显著降低了通信开销，提升了推理效率。实验结果表明，该方法有效改善了DeepSpeed-MoE框架的性能。

本研究提出了一种基于解释引导修剪的通信高效联邦学习方法，旨在降低遥感图像分类中的通信开销。通过层次相关传播策略，识别并传递最相关的模型参数，从而减少模型更新数量，提高全局模型的泛化能力。实验结果表明，该方法显著提升了通信效率和模型有效性。

本研究提出H-FedSN方法，解决了传统层次联邦学习在多层物联网中的通信效率和准确性问题。通过引入二进制掩码机制和个性化层，显著降低了通信成本，提高了模型训练效率。

本研究提出DroidSpeak框架，旨在提高多智能体系统中大型语言模型（LLMs）之间的通信效率。通过使用中间数据，DroidSpeak实现了高达2.78倍的通信加速，同时保持任务性能，为构建更高效的多智能体系统提供了新思路。

本研究提出了一种基于预训练扩散模型的生成语义多播框架，旨在提高未来无线网络中多用户的意图感知通信效率。该框架有效降低用户延迟，同时保持高信号质量。

本研究提出了FedMoE-DA框架，旨在解决联邦学习中因客户端资源限制导致的大规模模型部署问题。该框架结合混合专家架构和领域感知的细粒度聚合策略，提升了模型的鲁棒性和通信效率，并显著减轻了服务器的通信压力。

本文介绍了多种优化联邦学习的方法，包括基于Ornstein-Uhlenbeck过程的通信效率方案、设备采样和卸载优化算法、聚类抽样的客户端选择方法。这些研究旨在提高模型训练的准确性、资源利用率和收敛性，同时解决通信效率和客户端异质性问题。实验结果显示，这些方法在不同数据集上表现优越。

本研究提出了一种新算法Amplified SCAFFOLD，旨在解决联邦学习中客户端不总可用的问题。该算法专注于非凸优化和周期性客户端参与，显著提高了通信效率，减少了通信轮次，并对数据异构性具有良好适应性，表现优于以往研究。