本研究分析了大语言模型在安全对齐方面的脆弱性,指出模型的安全行为受到广泛学习动态的影响,挑战了安全对齐独立几何方向的假设,并强调了在持续训练中保持对齐的重要性。
本研究探讨了低秩适应(LoRA)在微调预训练模型时的学习动态,提出了基于梯度流的分析方法。通过谱初始化,改善了原模型与目标矩阵的错位,理论证明小规模谱初始化能以任意精度收敛,实验结果验证了该方法的有效性。
本研究提出了一种基于拓扑数据分析的新方法,以克服机器学习中损失函数可视化的局限性。研究表明,高性能模型的损失景观拓扑结构更为简单,能够揭示模型性能与学习动态之间的新关系。
本研究解决了微分博弈中的学习动态复杂性问题,提出了两种博弈分解方法,发现标量势博弈与潜在博弈的一致性,并通过梯度下降有效找到纳什均衡,为动态与战略的关系提供了新视角。
本研究分析了大语言模型在上下文中估计概率密度函数的能力,揭示其在低维InPCA空间中的学习动态。结果显示,LLaMA-2模型在密度估计方面的学习轨迹与传统方法不同,为理解其概率推理机制提供了新见解。
本文研究了深度学习在存在噪声标注的情况下的学习动态,并提出了一种新的分割方法,能够自适应地纠正噪声注释,并提高鲁棒性。该方法在医学成像分割任务中表现优异,具有强大的鲁棒性。
本文研究了机器教学的问题,探讨了教师在教授目标概念时面临的多样性挑战。研究表明,教师了解学生的学习动态时,只需使用O(min{d,N}log(1/eps))个样本就能够教授整个班级。同时,研究还分析了教学策略的可行性和教师成本与学生负担之间的平衡关系。实验结果验证了理论分析和提出的分组教学策略的有效性。
该研究探讨了深度神经网络在学习过程中的动态,特别关注了二元分类问题。研究发现,在非线性架构下,网络学习的分类误差呈现 sigmoid 形状。同时,研究了梯度饱和现象和特征频率对模型收敛速度的影响,以及交叉熵和hinge损失在生成对抗网络训练中的差异。最后,提出并研究了梯度饥饿现象。
完成下面两步后,将自动完成登录并继续当前操作。