HSplitLoRA框架通过结合分割学习和低秩适配技术,解决了大语言模型在异构计算资源下微调的高成本和资源不平衡问题。该框架动态配置LoRA适配器的分解秩,优化模型分割点,显著提升微调效率和准确性。实验结果表明,其在训练精度和收敛速度上优于现有基准。
该论文提出了BackdoorBench基准测试,用于评估多种后门攻击和防御算法。研究表明,分割学习对后门攻击具有强抗性,并提出了新的防御方法,如共享对抗消除和BadEdit攻击框架,以提高机器学习模型的安全性和可靠性。
Nesa是一个综合框架,利用零知识证明和分割学习确保去中心化系统中的数据安全和模型完整性。该框架基于区块链,通过智能合约构建和更新数据集,以确保数据的准确性。同时,提出了有效的分片方法和基于区块链的人工智能网络,解决了大规模模型的推理和训练问题。
联邦优化面向数据分布不均且节点众多的场景,利用本地移动设备参与计算以更新全局模型,并提出新算法,实验表现优异。相关研究还涵盖降低分布式训练的通信成本、凸学习中通信效率的根本限制、通过图分割降低通信成本、网络感知优化、异步优化综述,以及分割学习与联合学习的通信效率比较。
完成下面两步后,将自动完成登录并继续当前操作。