本研究分析了大语言模型在安全对齐方面的脆弱性,指出模型的安全行为受到广泛学习动态的影响,挑战了安全对齐独立几何方向的假设,并强调了在持续训练中保持对齐的重要性。
本研究探讨了低秩适应(LoRA)在微调预训练模型时的学习动态,提出了基于梯度流的分析方法。通过谱初始化,改善了原模型与目标矩阵的错位,理论证明小规模谱初始化能以任意精度收敛,实验结果验证了该方法的有效性。
本研究提出了一种基于拓扑数据分析的新方法,以克服机器学习中损失函数可视化的局限性。研究表明,高性能模型的损失景观拓扑结构更为简单,能够揭示模型性能与学习动态之间的新关系。
本研究解决了微分博弈中的学习动态复杂性问题,提出了两种博弈分解方法,发现标量势博弈与潜在博弈的一致性,并通过梯度下降有效找到纳什均衡,为动态与战略的关系提供了新视角。
本研究探讨了小语言模型在训练后期性能下降的问题,发现其收敛速度慢且不稳定,尤其在参数有效秩低时。研究提出了改善小模型学习动态效率的新思路。
本文分析了深度线性神经网络的学习动态,发现其具有非线性学习特性,如快速收敛和隐式正则化。研究提出了新的前向传播算法和精度分配方法,以提升固定点训练的性能,并探讨了预训练对网络稳定性的影响,为深度学习的稳定性提供了理论基础。
本文研究了深度线性神经网络的学习动态,发现其表现出类似非线性网络的学习现象,如快速收敛和梯度饥饿。通过分析网络结构与学习的关系,提出了早期阶段学习最佳常数解(OCS)的概念,表明这一现象在深度线性网络和卷积神经网络中普遍存在,并探讨了其对人类学习者的影响。
本文研究了斯塔克伯格博弈中的学习动态及其收敛性,提出了基于梯度的学习更新规则和无遗憾算法,以优化多智能体强化学习。研究探讨了不同博弈设置下的均衡概念及学习代理之间的相互影响。
本文分析了深度线性神经网络的学习动态,发现其具有非线性学习特性,包括快速收敛和在特定初始条件下的非监督预训练效果。同时,研究探讨了梯度下降法在递归神经网络中的应用,证明了在适当初始化下网络可以达到最优,并分析了学习速率对动力学和轨道稳定性的影响。
本文探讨了粗略相关均衡的研究,提出了新算法以解决多人博弈中的近似Nash均衡问题,并分析了不完全信息博弈的学习动态。研究发现,随机算法在复杂性上存在瓶颈,而无后悔学习在多智能体强化学习中无法实现多项式时间的收敛。
本文探讨了基于随机矩阵的框架分析单层线性网络的学习动态,研究了过拟合、早停和训练初始化等问题。结果显示不同学习速率下的动力学特性,并揭示深度神经网络在复杂行为建模中的有效性,提出改进架构的激活函数,并强调神经元数量对多层网络行为的独立性。
本文研究了深度学习在存在噪声标注的情况下的学习动态,并提出了一种新的分割方法,能够自适应地纠正噪声注释,并提高鲁棒性。该方法在医学成像分割任务中表现优异,具有强大的鲁棒性。
本文研究了机器教学的问题,探讨了教师在教授目标概念时面临的多样性挑战。研究表明,教师了解学生的学习动态时,只需使用O(min{d,N}log(1/eps))个样本就能够教授整个班级。同时,研究还分析了教学策略的可行性和教师成本与学生负担之间的平衡关系。实验结果验证了理论分析和提出的分组教学策略的有效性。
该研究探讨了深度神经网络在学习过程中的动态,特别关注了二元分类问题。研究发现,在非线性架构下,网络学习的分类误差呈现 sigmoid 形状。同时,研究了梯度饱和现象和特征频率对模型收敛速度的影响,以及交叉熵和hinge损失在生成对抗网络训练中的差异。最后,提出并研究了梯度饥饿现象。
完成下面两步后,将自动完成登录并继续当前操作。