本研究提出了一种高效的基于行的稀疏微调框架,通过识别“重要”神经元进行微调,显著提高内存效率,同时保持模型精度。该方法在有限计算资源下优化基础模型微调,训练时间和复杂性未增加。
本研究提出了一种异质性感知个性化联邦学习方法HAPFL,旨在解决传统联邦学习中的模型精度损失和延迟问题。该方法通过多层次强化学习机制优化客户端模型分配和训练强度,显著提升训练效率和精度,实验结果表明HAPFL有效减少了训练时间和延迟。
Scaling Law由百度于2017年提出,研究了深度学习中训练集大小、计算规模与模型精度的关系。实证研究表明,泛化误差与训练集大小呈幂律关系,模型大小与数据大小存在缩放关系。这一发现对深度学习的研究和实践具有重要影响,助力模型调试和系统设计。
本研究采用联邦学习框架,解决医学图像数据的隐私和分散问题。FedDP方法有效保护癌症病理图像的隐私,且对模型精度影响较小,为医疗机构的合作提供了可行方案。
本研究提出了一种新算法FedReMa,旨在解决个性化联邦学习中的类别不平衡问题。通过自适应共学习和多样聚合策略,该算法显著提升了模型的精度,实验结果表明其在数据异质性挑战中表现优越。
大规模实证研究发现,使用多个医院的数据集训练的模型精度较仅使用单个医院的数据训练的模型更差,原因是医院特定的图像伪相关性。未来的研究和实践需要谨慎选择数据和评估模型。
研究发现,量子计算在机器学习中具有潜力,可以提高核计算和模型精度。使用量子核和支持向量机相比传统方法,平均精度有显著改进。研究者尝试了随机测量评估量子核和实施可变子采样集合方法来解决计算核的时间复杂度问题,这两种方法都具有线性时间复杂度。实验结果表明,这些方法可以显著减少训练和推断时间,并且随机测量的平均精度优于经典径向基函数核。这为进一步研究可扩展、高效的量子计算在机器学习中的应用方向提供了线索。
小型企业在培训和运行人工智能时面临高成本挑战,量化是解决方案之一。量化通过降低模型参数精度来减少内存占用。静态量化在训练期间将权重和激活量化为较低位精度,动态量化在推理过程中动态量化激活。后训练量化将量化纳入训练过程中,可以直接应用于预训练模型。量化可以减少模型大小、内存需求和推理时间,但可能会降低模型精度。量化有助于提高大型语言模型的可访问性和可持续性计算实践。
量子计算在机器学习中的潜力使得核计算和模型精度得到提高。通过使用量子核和支持向量机,先前研究发现了显著的精度改进。研究者尝试了随机测量和可变子采样集合方法来解决计算复杂度的问题。实验结果表明,这些方法能够显著减少训练和推断时间,并且随机测量的平均精度优于经典核函数。这为进一步研究可扩展、高效的量子计算在机器学习中的应用提供了线索。
作者提出了Differentiable Tree Search (DTS)神经网络架构,通过嵌入最佳优先在线搜索算法,解决了模型精度不准确导致的性能问题。DTS通过可微的在线搜索和优化世界模型,减轻模型不准确性的影响。实验结果表明,DTS优于无模型和有模型的基准算法。
量子计算在机器学习中的潜力使得核计算和模型精度得到显著提高。通过使用量子核和支持向量机,先前研究观察到了显着的平均精度改进。随机测量和可变子采样集合方法能够减少计算核的时间复杂度,同时提高了训练和推断时间的效率。实验结果表明,随机测量的平均精度优于经典径向基函数核。这为进一步研究可扩展、高效的量子计算在机器学习中的应用提供了有希望的线索。
该文介绍了一种新的降低通信成本的方法,使用失真作为模型精度代理,并在真实的FL基准测试中实现了接近最优的结果。失真-失真前沿在多个数据集、优化器、客户端和训练轮次中保持一致。
完成下面两步后,将自动完成登录并继续当前操作。