小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI
基于评估指标的标签分布学习中的标注饱和度

本文探讨了标注者在标签分布上的分歧对模型学习的影响。研究发现,评估指标的不同导致所需标注者数量差异:熵相关性需要约20-50名标注者,而分布匹配在约10名标注者时即可饱和。软标签在识别模糊与清晰项目方面优于标签平滑,建议根据目标评估指标调整标注预算。

基于评估指标的标签分布学习中的标注饱和度

Apple Machine Learning Research
Apple Machine Learning Research · 2026-06-23T00:00:00Z

本研究提出了一种元数据敏感加权编码集成模型(MSWEEM),旨在提高对话文本中用户行为预测的准确性。通过整合标注者的疲劳和速度等元特征,MSWEEM在持出数据和替代数据集上的预测准确率分别提高了14%和12%,强调了理解标注者行为模式的重要性。

Improving User Behavior Prediction: The Application of Annotator Metadata in Supervised Machine Learning Models

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-03-26T00:00:00Z

研究分析大型语言模型在情感和伦理任务中的局限性,强调关注个体标注者而非简单数据聚合。发现少数标注者的观点更易与模型对齐并被放大,具有重要启示。

Aggregation Artifacts in Subjective Tasks Lead to the Collapse of Posterior Distributions in Large Language Models

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-10-17T00:00:00Z

本文研究了利用机器学习算法进行医学影像异常检测的方法,提出了一种聚合不同水平标注者标注的有效方法,并使用重新加权的损失函数来提高检测性能。在真实的医学影像数据集上进行评估,超越了不考虑标注者间差异的相关基线。

多标注者数据集的损失建模

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-11-01T00:00:00Z

本文研究了利用机器学习算法进行医学影像异常检测的方法,提出了一种聚合不同水平标注者标注的方法来解决单个标注者主观性标注的问题,并通过估计多个标注的隐藏标签和重新加权的损失函数来提高检测性能。在真实的医学影像数据集上进行评估,超越了不考虑标注者间差异的相关基线。

揭示多注释过程:以注释数量和样本难度对模型性能的影响为例

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-10-23T00:00:00Z

该研究提出了一种利用机器学习算法进行医学影像异常检测的方法,通过聚合不同水平标注者的标注来解决单个标注者主观性标注的问题,并使用重新加权的损失函数来提高检测性能。在真实的医学影像数据集上进行了评估,超越了相关基线。

案例研究:基于集成决策的无约束房地产图像标注

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-09-26T00:00:00Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码