小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI
回归不连续性下的产品实验:LLM置信度阈值如何在Python中创造自然实验

本文探讨了如何使用回归不连续性设计(RDD)评估基于置信度的路由模型的因果效应。通过分析在0.85阈值附近的查询,作者展示了利用Python进行数据分析,验证高置信度查询是否能提高任务完成率。文章强调了选择带宽和模型规格的重要性,并提供了多种检验方法以确保结果的稳健性,最终证明RDD是分析AI特征的有效工具,尤其在存在明确阈值的情况下。

回归不连续性下的产品实验:LLM置信度阈值如何在Python中创造自然实验

freeCodeCamp.org
freeCodeCamp.org · 2026-05-08T15:33:41Z
浙大团队破解多模态模型「盲目自信」:先校准置信度,再分配算力丨CVPR’26

浙江大学与阿里巴巴等团队研究发现,多模态大模型在视觉推理中存在“盲目自信”现象,即在图像质量下降时仍保持高置信度。为解决此问题,提出CA-TTS框架,通过置信度校准和资源分配优化推理效果。实验表明,该方法在多个视觉推理基准上显著提升准确率,强调了先感知后推理的重要性。

浙大团队破解多模态模型「盲目自信」:先校准置信度,再分配算力丨CVPR’26

量子位
量子位 · 2026-03-22T07:17:19Z
FaceFusion 3.2.0 — 进阶体验(不要瑟瑟)

文章讨论了视频资源处理中的瑟瑟内容检测问题。通过调整代码中的置信度设置,可以解决分析卡住的问题。同时,建议在检测前检查帧是否为空,以防止因视频文件异常导致的崩溃。

FaceFusion 3.2.0 — 进阶体验(不要瑟瑟)

obaby@mars
obaby@mars · 2025-05-11T08:31:47Z

本研究提出了一种新颖的模型内部置信度估计器(MICE),用于校准工具使用代理的置信度。MICE通过解码语言模型的中间层来评估置信度,显著提高了工具调用的效率和置信度,具备高样本效率和零次泛化能力,适用于不同风险场景。

MICE: 用于校准工具代理的模型内部置信度估计

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-04-28T00:00:00Z

本研究解决了大语言模型指令微调中训练数据集质量和效率的限制问题。提出的低置信度金样本(LCG)框架通过质心聚类和置信度引导选择有效识别有价值的指令对,并采用轻量级分类器进行半监督学习,成功优化数据集中的高质量子集,且保持数据多样性。实验结果表明,基于LCG过滤的6K样本微调模型在MT-bench等多项评估指标上表现显著优于现有方法。

低置信度金样本:为高效指令调优优化低置信度样本

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-02-26T00:00:00Z

本研究针对半监督语义分割中的常见问题,如过度依赖标记数据导致的耦合现象、确认偏差以及边界模糊等,提出了一种新颖的CW-BASS框架。该方法通过对伪标签赋予置信度权重来降低错误预测的影响,并利用边界感知模块提高分割精度,为标记数据不足的情况下的语义分割提供了有效的解决方案。

基于置信度加权的边界感知半监督语义分割学习

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-02-21T00:00:00Z

本研究探讨了如何优化大型语言模型(LLMs)的训练,以适应测试时的计算策略。结果表明,交叉熵损失函数可能导致模型过于自信,从而影响准确性。通过限制置信度,提出了一种改进的训练损失,显著提升了数学推理能力。

重新思考在测试时计算扩展下的微调:限制置信度改善数学推理

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-02-11T00:00:00Z

本研究旨在填补PLN和NARS两种不确定推理框架在高不确定性场景下的比较研究的空白。通过比较强度与置信度的乘积($s\times c$)与频率与置信度的乘积($f\times c$),发现尽管两者的推理方式不同,但在高术语概率不确定性的情况下,二者在推理结果的“力量”度量上往往非常接近。这一发现对理解AGI的推理机制具有重要意义。

在高度不确定的术语概率下PLN和NARS往往产生相似的强度×置信度

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-12-27T00:00:00Z

本研究提出了一种基于置信度的自适应学习策略(SPL-ESP-BC),有效减轻了飞鸟目标检测模型训练中的难样本影响,实验结果表明模型性能提升了2.1%。

Confidence-Based Simple Sample Priority Adaptive Learning Strategy for Bird Object Detection Model Training

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-12-09T00:00:00Z

本研究针对在线学习中Adam优化器面临的挑战,提出了一种基于置信度的优化策略CAdam。该方法通过评估动量和梯度间的一致性,对参数更新进行优化,有效区分真实数据分布变化与噪声,从而提高适应新数据分布的速度。实验结果表明,CAdam在效率和抗噪声能力上优于其他优化器,并在实际推荐系统中的A/B测试中显著提升了模型性能。

基于置信度的在线学习优化算法CAdam

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-11-29T00:00:00Z

本研究提出了一种基于置信度的去噪微调方法(FT-CADIS),旨在提升现成分类器在对抗攻击下的认证鲁棒性。该方法通过识别去噪过程中的幻觉图像,提高微调的稳定性和鲁棒性,并在多项基准测试中取得领先表现。

Confidence-aware Denoised Fine-tuning Method for Enhancing Certified Robustness of Off-the-shelf Models

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-11-13T00:00:00Z

本文提出了一种新方法,将多类分类器的校准转化为单个二元分类器的校准,以解决神经网络分类模型中置信度评分不准确的问题。实验结果表明,该方法显著提升了校准效率。

多类分类器的置信度校准

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-11-05T00:00:00Z

本研究提出了一种新方法,通过对输入空间进行扰动,扩展OOD检测中的输入维度。研究发现,OOD数据在扰动下置信度显著降低,而ID数据保持高置信度。基于此,提出了评分方法CoVer,以提高OOD和ID数据的可分性。

Application of Input Expansion in OOD Detection

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-10-24T00:00:00Z

本研究解决了在无字幕视频中精确动作定位的难题,尤其是在缺乏大型视频标注数据集的情况下。文章提出了一种名为ZEAL的零-shot动作定位方法,利用大型语言模型内建的动作知识生成精准的动作描述,并通过视觉-语言模型生成帧级置信度评分,取得了显著的定位效果,推动了视频理解领域的发展。

通过大型视觉-语言模型的置信度实现零-shot动作定位

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-10-18T00:00:00Z

本研究提出了一种新的贝叶斯置信度估计器BACON,解决了深度神经网络使用Softmax时的极端预测问题。BACON通过验证数据估算概率,显著改善校准误差,尤其在不平衡测试集上表现出色。

深度神经网络的贝叶斯置信度估计器(BACON)

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-10-16T00:00:00Z
探索大型语言模型的黑箱置信度估计方法

论文研究了如何通过黑箱方法估计大型语言模型的输出置信度,而无需访问内部参数。研究者使用校准数据、生成对抗样本和评估输出稳定性的方法,并在多种语言任务中测试,揭示了这些方法的优缺点。尽管有局限性,这些方法为提高模型可信度和透明度提供了重要见解,帮助在高风险应用中安全使用LLM。

探索大型语言模型的黑箱置信度估计方法

DEV Community
DEV Community · 2024-10-03T09:15:26Z

本研究提出了一种基于置信度聚类的个性化Tsetlin联邦学习方法TPFL,旨在提高模型准确性并保护用户隐私。TPFL通过对特定类别的置信度进行分组,降低了通信成本,并在MNIST、FashionMNIST和FEMNIST数据集上取得了最佳准确率。

TPFL: 基于置信度聚类的个性化Tsetlin联邦学习

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-09-16T00:00:00Z

本研究解决了将原始训练模型从源领域调整至目标领域时校准网络置信度的问题。我们提出了一种依赖于估计网络在目标领域的准确性的校准程序,最重要的发现是,该方法通过最小化估计准确性与计算置信度之间的差异,显著优于现有方法,具有较大的潜在影响。

基于估计准确性的无监督领域适应网络置信度校准

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-09-06T00:00:00Z

本研究针对医学图像分析中深度神经网络(DNN)的可靠性问题,提出了一种新的OOD检测方法。通过创建新的基准数据集,研究发现OOD伪影可以意外提高模型的置信度,挑战了现有的信心基础方法的假设。最终建议结合特征基础与置信度基础的方法,以最大限度降低各自的缺陷,提高DNN的整体性能。

医学深度神经网络可靠性评估:特征与置信度基础的OOD检测的批判性分析

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-08-30T00:00:00Z

本研究针对公平约束下的最佳臂识别(F-BAI)提出了一种新颖的框架,填补了传统最佳臂识别方法未考虑公平性的问题。通过建立样本复杂度的下界,并提出算法F-TaS,不仅提高了样本效率,还确保了公平约束的满足,显示了在实际应用中的有效性。

具有固定置信度的公平最佳臂识别

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-08-30T00:00:00Z
  • <<
  • <
  • 1 (current)
  • 2
  • 3
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码