无线网络上联合学习的数字与模拟传输对比
内容提要
该文综述无线联邦学习的通信效率优化，涵盖数字与模拟传输、量化、空中计算及资源分配。研究表明，模拟传输和OTA方案在非独立同分布数据下收敛更优；量化可降低带宽并保持精度；联合优化用户选择与资源分配能减少能耗和延迟，提升收敛速度。
延伸解读
模拟传输在非独立同分布数据下的优势
文章指出，在无线联邦学习中，模拟传输和空中计算方案在非独立同分布数据下收敛性能更优。尤其当设备能更好地估计全局模型时，模拟方法的优势更为明显。这提示读者，在数据分布异构的实际场景中，模拟传输可能比数字传输更具鲁棒性。
量化技术的带宽与精度平衡
文章提到，通过量化本地模型参数可以显著降低通信带宽，同时保持模型精度。例如，1位量化仅使用浮点基线带宽的3.1%，却在MNIST上达到99.8%的浮点基线准确度。这表明量化是缓解无线带宽压力的有效手段，但需注意量化误差对收敛时间的影响。
联合优化用户选择与资源分配的价值
文章强调，联合优化用户选择和无线资源分配能够减少能耗和延迟，并提升收敛速度。有研究通过迭代算法将能耗降低高达59.5%，另有方案通过优化剪枝比例和资源分配，将计算和通信延迟减少约50%。这些结果说明系统级联合设计对提升联邦学习效率至关重要。
混合传输方案的实际性能
文章介绍了一种自适应方案ADFL，它调度大部分设备使用OTA传输，偶尔使用数字方案。在独立同分布和非独立同分布环境中，ADFL均优于仅使用OTA或仅使用数字的方案。这为实际部署提供了灵活选择，表明混合策略能兼顾不同传输方式的优点。
Q&A
无线联邦学习中，数字传输和模拟传输在非独立同分布数据下哪个收敛更好？
模拟传输和OTA方案在非独立同分布数据下收敛更优。
量化在无线联邦学习中有什么作用？
量化可以降低带宽并保持精度，例如1位量化在MNIST上实现了99.8%的浮点基线准确度，带宽仅为浮点基线的3.1%。
如何优化无线联邦学习中的资源分配以减少能耗和延迟？
联合优化用户选择与资源分配能减少能耗和延迟，提升收敛速度。例如，一种迭代算法可将能源消耗降低高达59.5%。
空中计算（OTA）在联邦学习中有什么优势？
OTA方案在非独立同分布数据下收敛更优，且ADFL方案通过调度大部分设备使用OTA方案，同时偶尔使用数字方案，在i.i.d和非i.i.d环境中始终优于仅使用OTA和仅使用数字方案。
无线联邦学习中如何平衡模型准确性与及时执行？
通过综合优化计算、通讯资源和量化比特数，可以保证在所有全局轮次中的最小收敛时间，同时满足能源和量化误差的要求，从而在模型准确性与及时执行之间取得平衡。
联邦学习框架如何减少异构设备上的计算和通信延迟？
通过将学习模型分为全局部分和个性化部分，实现模型剪枝和个性化，并优化剪枝比例和无线资源分配，该框架能够显著减少约50%的计算和通信延迟。
