小红花·文摘
  • 首页
  • AI Tokens🪙
  • 排行榜🏆
  • 直播
  • FAQ
沉浸式翻译 immersive translate
Dify.AI

本研究分析了大语言模型在安全对齐方面的脆弱性,指出模型的安全行为受到广泛学习动态的影响,挑战了安全对齐独立几何方向的假设,并强调了在持续训练中保持对齐的重要性。

安全子空间并不独立:一个微调案例研究

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2025-05-20T00:00:00Z

本研究探讨了低秩适应(LoRA)在微调预训练模型时的学习动态,提出了基于梯度流的分析方法。通过谱初始化,改善了原模型与目标矩阵的错位,理论证明小规模谱初始化能以任意精度收敛,实验结果验证了该方法的有效性。

Understanding the Learning Dynamics of LoRA: A Gradient Flow Analysis of Low-Rank Adaptation

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2025-03-10T00:00:00Z

本研究提出了一种基于拓扑数据分析的新方法,以克服机器学习中损失函数可视化的局限性。研究表明,高性能模型的损失景观拓扑结构更为简单,能够揭示模型性能与学习动态之间的新关系。

将损失函数可视化为拓扑景观剖面

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-11-19T00:00:00Z

本研究解决了微分博弈中的学习动态复杂性问题,提出了两种博弈分解方法,发现标量势博弈与潜在博弈的一致性,并通过梯度下降有效找到纳什均衡,为动态与战略的关系提供了新视角。

Decomposition of Differential Games

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-11-06T00:00:00Z

本研究探讨了小语言模型在训练后期性能下降的问题,发现其收敛速度慢且不稳定,尤其在参数有效秩低时。研究提出了改善小模型学习动态效率的新思路。

Tending Towards Stability: Convergence Challenges in Small Language Models

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-10-15T00:00:00Z

本文分析了深度线性神经网络的学习动态,发现其具有非线性学习特性,如快速收敛和隐式正则化。研究提出了新的前向传播算法和精度分配方法,以提升固定点训练的性能,并探讨了预训练对网络稳定性的影响,为深度学习的稳定性提供了理论基础。

深入理解深度神经网络中的不动点迭代:详细的分析研究

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-10-15T00:00:00Z

本文研究了深度线性神经网络的学习动态,发现其表现出类似非线性网络的学习现象,如快速收敛和梯度饥饿。通过分析网络结构与学习的关系,提出了早期阶段学习最佳常数解(OCS)的概念,表明这一现象在深度线性网络和卷积神经网络中普遍存在,并探讨了其对人类学习者的影响。

非线性感知器中监督学习与强化学习的动态

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-09-05T00:00:00Z

本文研究了斯塔克伯格博弈中的学习动态及其收敛性,提出了基于梯度的学习更新规则和无遗憾算法,以优化多智能体强化学习。研究探讨了不同博弈设置下的均衡概念及学习代理之间的相互影响。

ReLExS:用于Stackelberg无悔学习者的强化学习解释

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-08-26T00:00:00Z

本文分析了深度线性神经网络的学习动态,发现其具有非线性学习特性,包括快速收敛和在特定初始条件下的非监督预训练效果。同时,研究探讨了梯度下降法在递归神经网络中的应用,证明了在适当初始化下网络可以达到最优,并分析了学习速率对动力学和轨道稳定性的影响。

两层窄网络中梯度流的闭形式描述缺失

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-08-15T00:00:00Z

本文探讨了粗略相关均衡的研究,提出了新算法以解决多人博弈中的近似Nash均衡问题,并分析了不完全信息博弈的学习动态。研究发现,随机算法在复杂性上存在瓶颈,而无后悔学习在多智能体强化学习中无法实现多项式时间的收敛。

不完全信息博弈中近似(粗糙)相关均衡的复杂性

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-06-04T00:00:00Z

本文探讨了基于随机矩阵的框架分析单层线性网络的学习动态,研究了过拟合、早停和训练初始化等问题。结果显示不同学习速率下的动力学特性,并揭示深度神经网络在复杂行为建模中的有效性,提出改进架构的激活函数,并强调神经元数量对多层网络行为的独立性。

深度神经网络训练响应的简单理论

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-05-07T00:00:00Z

本文研究了机器教学的问题,探讨了教师在教授目标概念时面临的多样性挑战。研究表明,教师了解学生的学习动态时,只需使用O(min{d,N}log(1/eps))个样本就能够教授整个班级。同时,研究还分析了教学策略的可行性和教师成本与学生负担之间的平衡关系。实验结果验证了理论分析和提出的分组教学策略的有效性。

图中球的非冲突教学映射

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2023-09-06T00:00:00Z

该研究探讨了深度神经网络在学习过程中的动态,特别关注了二元分类问题。研究发现,在非线性架构下,网络学习的分类误差呈现 sigmoid 形状。同时,研究了梯度饱和现象和特征频率对模型收敛速度的影响,以及交叉熵和hinge损失在生成对抗网络训练中的差异。最后,提出并研究了梯度饥饿现象。

通过学习系数量化奇异模型的退化

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2023-08-23T00:00:00Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码