小红花·文摘
  • 首页
  • AI Tokens🪙
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI
沉浸式翻译 immersive translate

本文探讨了大语言模型在推理阶段的退化现象,如死循环和乱码等问题。退化源于自回归Transformer的注意力机制和数值精度,导致输出失控。文章分析了退化的数学根源、表现形式及其机制,并提出了多层防御策略,包括架构设计、数值工程和解码策略,以提高模型在生产环境中的稳定性。

【Transformer 与注意力机制】59|推理退化:乱码、死循环与无意义文本为何不是同一种 bug

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-08-08T00:00:00Z

本研究探讨了在贝叶斯优化中使用期望改进(EI)时,由于数值精度敏感性导致的性能提升问题。作者推导了对数变换目标的高斯过程的闭式形式,验证了其在提高预测准确性方面的有效性,增强了EI在实际问题中的应用可行性。

Derivation of Closed Form of Expected Improvement for Gaussian Processes Trained on Log-Transformed Objectives

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-11-27T00:00:00Z

本文介绍了利用合成的原子级数据进行神经网络原子间势函数的预训练任务,以提高计算实践中的数值精度和稳定性。作者通过一系列与碳相关的等变图神经网络势函数进行可行性验证,并进行了初步实验来测试该方法的局限性。

从分子到材料:为原子性质预测训练大规模通用模型

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2023-10-25T00:00:00Z

本文研究了基于深度学习的方法是否能够精确解决无噪声的反问题,并提供了证据。通过迭代的端到端网络方案和数据驱动的校准步骤,研究了计算机断层扫描问题,展示了该方案能够使 CT 重建达到数值精度,表现优越。

基于变分可逆网络的全数字化脑 PET 衰减校正的合成 CT 生成

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2023-10-03T00:00:00Z

本文介绍了利用合成的原子级数据作为神经网络原子间势函数的预训练任务,可以提高计算实践中的数值精度和稳定性。作者通过一系列与碳相关的等变图神经网络势函数进行可行性验证,并进行了初步实验来测试该方法的局限性。

C3Net: 预测异质系统物理化学性质的原子间势神经网络

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2023-09-27T00:00:00Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码