本研究探讨了协作训练在代码生成中的有效性及记忆化挑战,发现联邦学习在保护数据隐私的同时,能与集中训练相媲美,但推理阶段仍存在数据泄露风险。建议优化多源数据集以促进跨组织合作。
本文介绍了随机展开联邦学习(SURF),通过在图神经网络中实现分布式梯度下降算法进行协作训练,并理论证明其优化器收敛于接近最优区域。实验结果表明该框架在图像分类器的协作训练中表现有效。
本文提出了一种通过标记级别协作训练多个大型语言模型的方法,允许基础模型在生成时调用领域专家模型,从而优化指令遵循和领域特定任务的性能。此外,研究展示了多级对比学习框架,显著提升了跨语言能力,并提出无监督特征分解方法,改善了跨领域和跨语言任务的表现。
本文提出了一种基于卷积神经网络的中文手写字体生成方法,结合协作训练、在线缩放增强和自适应预变形技术,仅需750个配对样本,效果显著优于现有方法。
本文综述大语言模型与知识图谱协作训练研究,通过知识图谱引导迭代探索、检索相关子图支持推理,提升基于知识推理的可靠性与可解释性,在QALD10等数据集上显著改进。涉及MindMap、GNP、RoG、KSL等方法,并测试GPT-4等模型的图推理能力,提出PathCompare提示技术。
本文提出了一种适用于协作训练的新算法框架,展示了该方法对 SwAV 和 ALBERT 的预训练效果,成本仅为传统设置的一小部分。最后,提供了一个由 40 名参与者组成的成功的协作语言模型预训练的详细报告。
本文介绍了一种新的联邦学习方法,通过引入局部统计批量规范化(BN)层,使得深度学习架构能够进行协作训练,并具有鲁棒性和降低信息泄漏风险的能力。该方法在肿瘤组织学图像块分类中表现出较好的传输学习效果,相对于之前的技术有很大的优势。
完成下面两步后,将自动完成登录并继续当前操作。