小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI

本研究提出了一种选择性自注意力(SSA)层,通过温度缩放策略改善Transformer架构中的自注意力机制,解决了上下文稀疏性和相关性控制不足的问题。实验结果表明,SSA显著提高了语言建模的准确性,且引入的参数极少,具有轻量级优势。

Selective Attention: Enhancing Transformers through Principled Context Control

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-11-19T00:00:00Z

本文介绍了几种校准方法,包括焦点损失、温度缩放和参数化温度缩放等,这些方法可以提高分类模型在测试数据上的校准表现,并解决过度自信的问题。实验证明这些方法在多个数据集上都取得了良好的效果。

通过关联焦点损失、温度缩放和适当性来改善校准

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-08-21T00:00:00Z

本文探讨了大型语言模型的校准技术,提出了多种方法以提高模型的置信度分数和准确性。研究表明,自动翻译数据增强和温度缩放等技术能有效改善模型校准,尤其在视觉任务和问答任务中。通过统一的校准框架,实验验证了不同模型在校准性能上的差异,并提供了实用的改进策略。

用于二元问题回答的校准大型语言模型

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-07-01T00:00:00Z

本研究探讨了温度缩放方法在深度神经网络中的应用,提出了改进的校准技术以解决分类器的置信度问题。实证研究验证了不同方法对模型性能和校准的影响,强调了在医学图像分析中确保预测准确性和良好校准的重要性。

重点校准:受限温度缩放

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-06-17T00:00:00Z

本文探讨了大型语言模型(LLM)置信度校准的新方法,提出通过多校准技术和多模型协作来提高置信度分数的准确性。研究表明,合理的提示策略和温度缩放能显著降低校准误差,并提出了新的评估指标以分析模型输出的可信度,旨在提升模型生成答案的可靠性。

LLMs 的置信度校准和理性化通过多智能体思考

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-04-14T00:00:00Z

本研究探究了不同架构、数据集和训练策略下视觉语言模型(VLMs)的校准性能,并发现温度缩放显著改善了校准性能。实验结果强调了在关键实际场景中理解和应用VLMs的重要性,旨在更可靠、有效地使用VLMs。

视觉语言模型校准的关键因素的实证研究

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-02-12T00:00:00Z

该文研究了三种不同架构在不同精度下的校准性能,发现校准质量与量化质量呈正相关。GhostNet-VGG在低精度下表现最为稳定,温度缩放可以改善量化网络的校准误差。该研究为可解释可靠的EdgeML提供了更多机会。

现代量化高效神经网络的校准

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-09-25T00:00:00Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 模力方舟 Gitee AI 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码