标签

 联邦学习 

相关的文章:

探索联邦学习的最新研究进展,包括局部微调、公平性、安全使用私有数据等,以及应用案例和实践经验。

基于分布式深度强化学习的梯度量化在联邦学习启用的车载边缘计算中的应用

原文约300字,阅读约需1分钟。发表于:

本文通过共享车辆本地模型的梯度而非本地数据,提出了一种基于分布式深度强化学习的量化级别分配方案,以优化总训练时间和量化误差的长期奖励,并通过广泛的模拟实验确定了总训练时间和量化误差之间的最佳加权因子,展示了该方案的可行性和有效性。

本文旨在通过量化本地模型参数,最小化联邦学习的总收敛时间。利用随机量化对FL算法进行收敛分析,优化计算、通讯资源和量化比特数,满足能源和量化误差的要求。方法可加速收敛速度,提供量化误差容忍度的选择。

相关推荐 去reddit讨论

CAR-MFL: 多模态联邦学习中的跨模态检索增强

原文约300字,阅读约需1分钟。发表于:

利用多模态 AI 和联邦学习解决医疗领域中公共数据集有限的问题,并提出一种用于填补缺失模态的新型跨模态数据增强方法。通过联邦学习,在保护隐私的前提下,提高了医学领域多项具有挑战性的多模态基准性能,超过了多个竞争基准。

本文提出了一种名为“Multimodal Federated Cross Prototype Learning (MFCPL)”的新方法,通过交叉模态对齐来增强特定模态特征的整体性能,解决了多模态联邦学习中存在的严重缺失模态的问题。经过实验证明,MFCPL在减轻挑战和提高整体性能方面表现出优异效果。

相关推荐 去reddit讨论

基于区块链的差分隐私垂直联邦学习方法

原文约400字,阅读约需1分钟。发表于:

我们提出了基于区块链的垂直联邦学习差分隐私(DP-BBVFL)算法,为去中心化应用提供可验证性和隐私保证。DP-BBVFL 使用智能合约透明地聚合从客户端获取的特征表示,即嵌入。我们应用局部差分隐私来为存储在区块链上的嵌入提供隐私,从而保护原始数据。我们首次原型化了区块链与垂直联邦学习的差分隐私应用。我们使用医疗数据进行的实验表明,DP-BBVFL...

我们提出了基于区块链的垂直联邦学习差分隐私(DP-BBVFL)算法,为去中心化应用提供可验证性和隐私保证。DP-BBVFL 使用智能合约透明地聚合从客户端获取的特征表示,即嵌入。实验表明,DP-BBVFL 在训练时间上具有高准确性和一定的权衡,这种差分隐私和区块链技术的创新融合可能预示着在多个去中心化应用领域中建立协作和可信的机器学习应用的新时代。

相关推荐 去reddit讨论

基于智能合约的分布式系统中的联邦学习信任与韧性

原文约200字,阅读约需1分钟。发表于:

通过基于分散架构的联邦学习系统,利用智能合约追踪协作者行为,上传加密模型参数以增强数据安全,研究了权重聚合的两种不同方法并验证了提案的可行性。

我们开发了一个基于区块链的联邦学习框架,与以太坊网络嵌入,提供了可验证的训练、聚合和激励分配过程,并保护模型的知识产权。该框架名为VeryFL。

相关推荐 去reddit讨论

具有 Hamiltonian Monte Carlo 的贝叶斯联邦学习:算法与理论

原文约400字,阅读约需1分钟。发表于:

这项工作介绍了一种新颖而高效的贝叶斯联邦学习算法,即基于 Federated Averaging 随机哈密尔顿蒙特卡洛(FA-HMC)的参数估计和不确定性量化。我们建立了 FA-HMC 在非独立同分布数据集上的严格收敛保证,并研究了参数空间维数、梯度噪声和动量以及通信频率对 FA-HMC 的收敛和通信成本的影响。此外,通过展示连续 FA-HMC...

本文介绍了一种新的贝叶斯联邦学习算法,使用FA-HMC进行参数估计和不确定性量化。研究发现,FA-HMC在非独立同分布数据集上具有严格的收敛保证,并且收敛和通信成本受到参数空间维数、梯度噪声和动量以及通信频率的影响。实证研究表明,FA-HMC优于现有的FA-LD算法。

相关推荐 去reddit讨论

FedClust: 通过权重驱动的客户端聚类解决联邦学习中的数据异质性

原文约300字,阅读约需1分钟。发表于:

通过测量局部模型权重的相似性,一种名为 FedClust 的新型聚类联邦学习方法,通过在一个步骤中将客户端分组成簇的方式,解决了非独立同分布数据情况下不均匀数据分布导致的性能下降问题,并且相比其他最先进方法,FedClust 在模型精度上提高了高达约 45%,并且在收敛速度上具有显著降低的通信成本,最高可达 2.7 倍。

FedClust是一种新型的聚类联邦学习方法,通过测量局部模型权重的相似性解决了非独立同分布数据下的性能下降问题。该方法提高了约45%的模型精度,并显著降低了通信成本。

相关推荐 去reddit讨论
相关推荐 去reddit讨论

Zero-X: 一种针对 IoV 的基于区块链的开放式联邦学习框架,用于零日攻击检测

原文约200字,阅读约需1分钟。发表于:

本文提出了 Zero-X,一种通过将深度神经网络与开放环境识别相结合的方法,有效检测 IoV 领域中的 0-day 与 N-day 攻击,并使用区块链技术实现可信和分散式的联邦学习,旨在维护隐私和提高检测率。与相关工作的比较表明 Zero-X 框架优于现有解决方案。

本文介绍了一种针对物联网环境中网络入侵检测系统的缓解框架,利用图像报文级数据表示,提取空间和时间模式,并结合堆叠和子聚类技术,提高了未见攻击的检测率。未来将在不同开放程度和攻击场景下进行实验,加强该解决方案的适应性和性能。

相关推荐 去reddit讨论

关于联邦学习中 LLM 微调的客户端偏好

原文约500字,阅读约需2分钟。发表于:

利用人类反馈进行强化学习(RLHF)通过使用偏好数据集微调预训练的大型语言模型(LLM),使 LLM 能够生成符合人类偏好的输出。为了解决由于隐私问题而不愿共享数据的客户所持有的这些偏好数据集的敏感性问题,我们提出了一个可行的框架,其中客户使用我们提出的 FedBis 协作训练一个具有偏好数据集的二值选择器。通过训练一个经过良好训练的选择器,我们可以进一步增强生成人类优选补全的...

本文介绍了一种利用人类反馈进行强化学习的方法,通过微调预训练的大型语言模型生成符合人类偏好的输出。作者提出了FedBis框架解决隐私问题,使用二值选择器训练具有偏好数据集的客户。同时,作者还提出了FedBiscuit算法,通过训练多个选择器将客户组织成平衡和不相交的簇。实验结果表明,FedBiscuit在模拟人类对成对补全的偏好上表现出优越性能,超过了传统的集中式训练。

相关推荐 去reddit讨论

通过原型表示评估异构参与者在联邦学习中的贡献

原文约300字,阅读约需1分钟。发表于:

本文从表示的全新视角探索联邦学习中的贡献评估,并提出了一种用于异构参与者的贡献评估的新方法,引入了一种新的指标 “类别贡献动量”,从个体、相对和整体视角构建和应用该指标,在各种情境下展现了方法的优越性。

该研究提出了一种名为ShapFed的新型参与者贡献评估方法,利用Shapley值对参与者的贡献进行评估,并提出了一种名为ShapFed-WA的加权聚合方法。实验证明该方法在提高联邦学习系统的效用、效率和公平性方面有效。

相关推荐 去reddit讨论