本研究提出了MaZO框架,旨在解决大型语言模型在多任务微调中的高内存需求。通过权重重要性度量和任务权重更新掩码,MaZO有效降低了参数空间维度,减轻了任务冲突,性能超过了一阶优化方法。
本研究提出了HyperFLINT,一种基于深度学习的新方法,旨在解决传统流场估计和标量场插值中对参数考虑不足的问题。HyperFLINT通过超网络动态适应不同模拟条件,提升性能并支持参数空间探索。
本文研究了随机梯度 Langevin 动力学(SGLD)算法,通过注入适当缩放的高斯噪声来更新参数,分析了算法达到参数空间任意子集的命中时间。研究发现,SGLD算法在多项式时间内实现了总体风险的近似局部最小值。同时,展示了SGLD如何改进学习零一损失下线性分类器的最佳学习结果之一。
本论文提出了一种验证自动驾驶系统安全的方法,通过建立代理模型来描述交通场景下的行为,并证明安全特性以保证性能。同时,探索了危险驾驶的安全和不安全参数空间,并通过评估多个模拟交通场景展示了方法的实用性。
本文探讨了深度神经网络的泛化能力与参数空间的损失景观形状和特征空间的表示流形结构之间的联系。作者提出了一个简单的分析,并展示了神经表示流形的体积压缩与参数优化过程中所探索的最小值周围的损失的平坦性相关的结果。
完成下面两步后,将自动完成登录并继续当前操作。