小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI

本研究分析了大语言模型在安全对齐方面的脆弱性,指出模型的安全行为受到广泛学习动态的影响,挑战了安全对齐独立几何方向的假设,并强调了在持续训练中保持对齐的重要性。

安全子空间并不独立:一个微调案例研究

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-05-20T00:00:00Z

本研究探讨了低秩适应(LoRA)在微调预训练模型时的学习动态,提出了基于梯度流的分析方法。通过谱初始化,改善了原模型与目标矩阵的错位,理论证明小规模谱初始化能以任意精度收敛,实验结果验证了该方法的有效性。

Understanding the Learning Dynamics of LoRA: A Gradient Flow Analysis of Low-Rank Adaptation

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-03-10T00:00:00Z

本研究提出了一种基于拓扑数据分析的新方法,以克服机器学习中损失函数可视化的局限性。研究表明,高性能模型的损失景观拓扑结构更为简单,能够揭示模型性能与学习动态之间的新关系。

将损失函数可视化为拓扑景观剖面

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-11-19T00:00:00Z

本研究解决了微分博弈中的学习动态复杂性问题,提出了两种博弈分解方法,发现标量势博弈与潜在博弈的一致性,并通过梯度下降有效找到纳什均衡,为动态与战略的关系提供了新视角。

关于微分博弈的分解

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-11-06T00:00:00Z

本研究分析了大语言模型在上下文中估计概率密度函数的能力,揭示其在低维InPCA空间中的学习动态。结果显示,LLaMA-2模型在密度估计方面的学习轨迹与传统方法不同,为理解其概率推理机制提供了新见解。

使用大语言模型的密度估计:上下文学习轨迹的几何研究

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-10-07T00:00:00Z

本文研究了深度学习在存在噪声标注的情况下的学习动态,并提出了一种新的分割方法,能够自适应地纠正噪声注释,并提高鲁棒性。该方法在医学成像分割任务中表现优异,具有强大的鲁棒性。

MetaSeg:内容感知元网络用于全监督语义分割

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-01-22T00:00:00Z

本文研究了机器教学的问题,探讨了教师在教授目标概念时面临的多样性挑战。研究表明,教师了解学生的学习动态时,只需使用O(min{d,N}log(1/eps))个样本就能够教授整个班级。同时,研究还分析了教学策略的可行性和教师成本与学生负担之间的平衡关系。实验结果验证了理论分析和提出的分组教学策略的有效性。

图中球的非冲突教学映射

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-09-06T00:00:00Z

该研究探讨了深度神经网络在学习过程中的动态,特别关注了二元分类问题。研究发现,在非线性架构下,网络学习的分类误差呈现 sigmoid 形状。同时,研究了梯度饱和现象和特征频率对模型收敛速度的影响,以及交叉熵和hinge损失在生成对抗网络训练中的差异。最后,提出并研究了梯度饥饿现象。

通过学习系数量化奇异模型的退化

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-08-23T00:00:00Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 模力方舟 Gitee AI 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码