麻省理工学院的研究人员开发了一种新方法，提升了联邦学习的效率，使其在资源有限的设备上更快地训练人工智能模型。该方法通过减少内存需求和通信负担，加速训练过程，平均提高了81%的速度。这项技术有望在医疗和金融等高风险领域应用，同时保护用户数据安全。

苹果研究人员提出了ParaRNN框架，显著提高了非线性递归神经网络（RNN）的训练效率，实现了大规模并行训练。该方法使得7亿参数的RNN在语言建模任务中表现出与变换器相当的性能，且通过引入牛顿法，ParaRNN在保持非线性表达能力的同时实现了高效的并行计算。这一进展为RNN的广泛应用和进一步研究提供了新的可能性。

戴盟机器人联合多家顶尖机构发布了全球最大的触觉全模态数据集Daimon Infinity，旨在提升具身智能的训练效率。该数据集包含触觉和视觉等多维信息，预计年内达到数百万小时，助力机器人在复杂环境中精准操作。触觉数据的引入显著提高了模型的训练效果，推动行业标准化和资源共享，加速具身智能的商业化进程。

MixAtlas是一种用于多模态大模型中期训练的数据混合优化框架，通过领域分解和小型代理模型提高样本效率和下游泛化能力。它在图像概念和任务监督两个方面分解训练数据，显著提升训练效率，实现3倍的收敛速度和2-5%的性能提升，尤其在文本丰富的基准测试中表现突出。

本文介绍了SafetyPairs框架，生成仅在安全特征上不同的图像对，以区分安全与不安全的图像。通过图像编辑模型进行针对性修改，构建了一个包含3020个图像的安全基准，提升了视觉语言模型的评估能力，并改善了轻量级模型的训练效率。

Kimi团队的《Attention Residuals》报告改进了残差连接结构，显著提升了大模型的训练效率。在相同算力下，该方法的效果相当于基线模型1.25倍算力的成果，获得硅谷AI界的认可，标志着深度学习基础范式的变革。

ReSyn是卡内基梅隆大学与AWS团队开发的工具，旨在自动生成推理环境，使AI能够在无监督下学习推理。该工具降低了标注成本，提高了训练效率，实验表明性能提升达27%。未来，AI将能够自我进化，生成更多样化的环境。

近期，基于PaddleFormers v1.0，在昆仑芯P800上成功完成DeepSeek-V3模型的全参数微调，验证了超大规模模型的可控性及优化训练效率。通过混合并行训练策略和多硬件算子验证工具，显著提升了算力利用效率，并总结了显存管理、长序列输入处理及负载均衡等关键技术，为未来大规模模型训练提供了参考。

何恺明团队的GeoPT提出了一种新预训练范式，通过合成动力学将静态几何转化为动态空间，使模型能够在无标签数据上学习物理规律。该方法节省了20-60%的物理仿真数据，提高了训练效率和适应性，为物理仿真提供了新思路。

在旧金山的技能之夜活动中，开发者展示了如何利用skills.sh生态系统提升智能代理能力。该项目起源于Shu Ding记录的React知识，现已发展至69000个技能和200万次安装。为应对安全问题，团队与多家安全公司合作进行审计。活动强调了技能在缩短训练时间和提升代理效率方面的重要性，以及提供正确上下文的必要性。

生成式推荐作为新兴推荐系统，提升了推荐多样性和复杂语义处理能力。京东九数算法团队开发的9N-LLM统一训练引擎，支持多框架和硬件，解决了训练效率和模型规模问题，推动生成式推荐的实际应用。该引擎通过优化样本处理、稀疏参数计算和强化学习流程，提高了训练效率和效果。

Meta推出生成广告模型(GEM)，旨在提升广告推荐效果。该模型通过处理大量用户与广告的互动，解决推荐系统的挑战。GEM利用先进架构、知识转移和优化训练基础设施，提高性能，并支持广告主目标与用户行为。Meta还采用多种并行策略和GPU优化，提升训练效率，帮助广告主实现更精准的广告投放。

DeepSeek-R1展示了强化学习（RLHF）在大模型推理中的重要性，挑战了传统观念。通过去除Critic和采用组内统计方法，提升了训练效率，推动了RL后训练的变革，未来将向自我验证循环发展。

DeepSeek-AI 发布了新模型 DeepSeek-V3.2-Exp，采用稀疏注意力机制（DSA），显著提升长文本任务的训练与推理效率。DSA 通过闪电索引器和细粒度令牌选择，降低计算复杂度，保持模型性能。模型训练分为密集预热和稀疏训练阶段，使用大量上下文数据。测试结果显示，V3.2-Exp 在多项任务中表现稳定，推理成本显著降低，未来将进行大规模真实场景测试。

研究表明，扩大语言模型的容量可以提升性能，主要通过增加模型参数和计算量来实现。稀疏专家混合模型（MoEs）在不显著增加计算量的情况下扩展参数数量。研究发现，在不同约束条件下，存在最佳稀疏水平，能够提高训练效率和模型性能，从而为MoEs的扩展提供了更深入的理解。

大语言模型（LLMs）近年来发展迅速，但在微调和部署方面面临挑战。GRPO算法通过群组相对优势估计，解决了传统强化学习的内存和稳定性问题，提高了训练效率。EasyR1框架支持多种算法，优化大模型的训练，并结合Amazon SageMaker实现高效灵活的训练和部署。