小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI

本文提出了一种新框架,将变压器模型中的残差流视为逐层演变的动力系统,研究大型人工智能模型的内部机制,揭示了不同层次间残差流单元的强连续性,为理解现代神经网络提供了基础。

Transformer Dynamics: Application of Neuroscientific Approaches in the Interpretability of Large Language Models

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-02-17T00:00:00Z

本研究分析大型语言模型在知识冲突时的信息依赖,发现模型能识别冲突信号,区分上下文知识和参数知识,为知识选择提供新方法。

分析语言模型在知识冲突下的残差流

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-10-21T00:00:00Z

大型语言模型在回答事实性问题方面很成功,但容易产生幻觉。通过推理动态的角度调查幻觉现象,识别查询相同三元知识但产生不同答案的实际问题。利用残差流到词汇空间的映射测量模式,揭示输出令牌概率在模型不同层深度上的动态差异。构建分类器准确检测幻觉预测,揭示产生幻觉的原因和预测时机。

回顾镜:只使用注意力图检测和减轻大型语言模型中的上下文幻觉

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-07-09T00:00:00Z

本研究通过研究Transformer模型的残差流,增强其可解释性。发现残差连接机制是在softmax之前的值上进行直接相加,使得具有更大softmax之前值的标记的概率增加。提出了一种分析前一层对上层影响的方法。实验结果和案例研究表明,该研究可以增强基于Transformer的模型的可解释性。

探索 Transformer 的残差流

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-12-19T00:00:00Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 模力方舟 Gitee AI 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码