HyperAI 超神经主办的 Meet AI Complier 技术沙龙已举办至第七期，重点讨论分布式训练中的通信效率与 Python 编程。郑思泽介绍了 Triton-distributed 的优化策略，强调通信与计算的重叠机制，以提升整体效率。该项目旨在解决分布式系统的性能瓶颈，推动技术进步，欢迎开发者参与。

本研究提出了一种新的参数高效微调技术，以解决联邦学习中基础模型适应特定任务所需的高计算资源问题，并分析其在数据异质性和通信效率等挑战中的应用，强调其在隐私敏感领域的重要性。

本研究提出FedSAUC更新控制方法，通过聚类相似模型设备，选择代表性设备进行信息更新，有效降低电池和带宽消耗，提升通信效率。

本研究提出了AgentDropout方法，旨在提高基于大语言模型的多智能体系统的通信效率和任务性能。通过优化邻接矩阵，识别并消除冗余代理，实验结果表明，该方法使令牌消耗降低21.6%，任务表现提升1.14，验证了其有效性。

DeepSeek 开源了适用于 MoE 模型的通信库 DeepEP，旨在提升训练和推理过程中的通信效率。该库支持快速数据交换、低延迟和高吞吐量，优化了 GPU 资源使用，适合大型模型的分布式训练。

本研究提出了一种新的混合查找专家架构（MoLE），旨在解决混合专家模型在推理时对大量专家的依赖问题。MoLE通过重参数化专家为查找表，提高了通信和显存效率。实验结果表明，MoLE的推理速度与稠密模型相当，且显著快于传统的混合专家模型，同时保持了性能水平。

本研究提出了一种投机性MoE方法，旨在提高大规模混合专家推理的通信效率。通过投机性标记洗牌和专家预调度，显著降低了通信开销，提升了推理效率。实验结果表明，该方法有效改善了DeepSpeed-MoE框架的性能。

本研究提出了一种基于解释引导修剪的通信高效联邦学习方法，旨在降低遥感图像分类中的通信开销。通过层次相关传播策略，识别并传递最相关的模型参数，从而减少模型更新数量，提高全局模型的泛化能力。实验结果表明，该方法显著提升了通信效率和模型有效性。

本研究提出H-FedSN方法，解决了传统层次联邦学习在多层物联网中的通信效率和准确性问题。通过引入二进制掩码机制和个性化层，显著降低了通信成本，提高了模型训练效率。

本研究针对隐私保护的联邦学习文档视觉问答竞赛，提出了可验证的隐私与通信效率解决方案。参赛者创新性地降低了通信成本，增强了文档分析的隐私意识，并为未来的隐私优先联邦学习挑战提供了建议。

本研究提出DroidSpeak框架，旨在提高多智能体系统中大型语言模型的通信效率，尤其是在处理长上下文时。通过引入中间数据，通信速度提升了2.78倍，同时保持了任务性能，为高效多智能体系统的构建开辟了新路径。

本研究提出了一种基于预训练扩散模型的生成语义多播框架，旨在提高未来无线网络中多用户的意图感知通信效率。该框架有效降低用户延迟，同时保持高信号质量。

本研究提出了FedMoE-DA框架，解决了联邦学习中因客户端资源限制导致的大规模模型部署问题。该框架结合混合专家架构与领域感知聚合策略，提升了模型的鲁棒性和通信效率，减轻了服务器的通信负担。

本研究提出了Amplified SCAFFOLD算法，旨在解决联邦学习中的客户端可用性问题，专注于非凸优化和周期性参与，从而显著提升通信效率和鲁棒性。