本研究提出了一种基于课程学习的跨模态文本-分子训练框架(CLASS),旨在提高训练效率和性能。CLASS在ChEBI-20数据集上表现优异,显著节省了训练时间。
微软推出FP4训练框架,能在相同超参数下实现与BF16相当的训练效果,降低存储和计算资源需求。该框架支持最大130亿参数的模型,采用FP8模拟FP4,提升训练效率,并在反向传播中引入可微分梯度估计方法,确保训练稳定性。
Kimi k1.5技术报告介绍了一种基于强化学习的多模态大型语言模型,该模型通过扩展长文本上下文和改进策略优化方法,显著提升了复杂任务的表现。研究者们探索了高效的训练框架,结合文本与视觉数据,取得了优异的基准测试结果,为未来语言模型的发展提供了新方向。
本文提出了多种创新的扩散模型训练框架和策略,如Patch Diffusion、DDM和SFERD,旨在提升生成效果和训练效率。通过引入条件分数函数、时间步骤调度和动量衰减等方法,显著降低计算成本并提高图像质量,为扩散模型的实际应用提供了新的视角和解决方案。
本文提出多种基于深度学习的半监督医学图像分割方法,通过利用未标注数据来提高分割性能。研究涵盖新损失函数、训练框架和互学习机制,实验证明这些方法在多个数据集上表现优异,显著提升了标注效率和准确性。
本研究提出了不忠实最小分组(BUMP)基准测试,用于评估长文本自动摘要的信度,并介绍了ALCE和ALiiCE等自动评估框架。研究指出大型语言模型在生成摘要和引用时面临挑战,并提出了改进引用质量的训练框架FRONT,显示出显著的提升潜力。
本文介绍了多个分布式图神经网络(GNN)训练框架,如DistGNN、BatchGNN、CoFree-GNN和CATGNN,强调它们在通信效率和训练速度上的显著提升。这些框架通过优化数据分区、批量生成和通信协议,实现了在大规模图上的高效训练,速度提升可达10倍以上,并有效解决了大图训练中的通信和内存问题。
本文介绍了多种无参考图像质量评估方法,包括对比学习、知识蒸馏和自监督学习,旨在提高评估的准确性和泛化能力。通过对比相似特征的图像,提出了新的训练框架和模型,并展示了在多个标准数据集上的优越性能。
本文介绍了如何通过对齐技术增强大型语言模型的有益性和无害性,并提出了灵活的训练框架和有效的微调技术。通过度量方法证明了这些对齐模型在诚实性方面的显著提高。
该文介绍了一种提高视觉语言模型推理性能和一致性的两阶段训练框架。第一阶段使用逐步推理样本微调VLMs,第二阶段结合语言模型反馈增强训练过程,产生高度一致和可靠的推理链。该框架有效提升了推理性能和一致性。
本文介绍了一种用于对大规模神经活动数据进行建模的训练框架和架构,利用交叉注意力和PerceiverIO主干构建神经群体活动的潜在分词,构建了一个大规模的多会话模型,为构建分析神经数据的深度学习工具提供了一种有力的新方法。
该文介绍了一个改进的训练框架,用于训练单声道神经增强模型,以提高鲁棒语音识别的性能。该框架利用混合不变训练准则,扩展了未配对的干净语音和真实嘈杂数据,提高了从真实嘈杂语音中分离出来的语音质量,并通过处理和未处理信号的混合来缓解处理伪影。实验证明,相对 WER 减少了 16% 到 39%。
本文介绍了一种基于能量的生成流网络概率建模算法,通过随机构造数据策略来建模生成过程,并将昂贵的MCMC探索分摊开来。同时,提出了一个框架,共同训练GFlowNet与能量函数,使其在各种概率建模任务中表现出有效性。
完成下面两步后,将自动完成登录并继续当前操作。