小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI
Hugging Face推出透明模型基准评估的Community Evals

Hugging Face推出Community Evals功能,允许在Hub上创建基准数据集排行榜并自动收集评估结果。该系统基于Git基础设施,确保提交的透明性、可版本化和可重复性。用户可通过拉取请求提交评估结果,提升评估的一致性和可追溯性,目前处于测试阶段。

Hugging Face推出透明模型基准评估的Community Evals

InfoQ
InfoQ · 2026-02-19T10:55:00Z

本研究提出了一种利用大语言模型提升代码注释质量的方法,评估结果显示该方法在多个质量维度上显著改善了注释质量,有助于数据安全维护。

AI-Assisted Code Comment Improvement

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-05-13T00:00:00Z

本研究提出利用知识图谱作为外部信息源,解决大型语言模型在自然语言处理中的幻觉和信息缺失问题。通过层次表示,提升了模型在零样本实体消歧中的表现,评估结果表明该方法优于未增强和仅基于描述的模型。

Enhancing the Application of Large Language Models in Entity Disambiguation Using Knowledge Graphs

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-05-05T00:00:00Z

本研究提出了DocPuzzle基准,用于评估大型语言模型在长篇上下文中的推理能力。基准包含100个需要多步推理的专家级QA问题。评估结果表明,慢思维推理模型优于一般指令模型,而蒸馏推理模型与教师模型之间存在显著差距。

DocPuzzle:评估现实长篇上下文推理能力的过程意识基准

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-02-25T00:00:00Z

本研究提出了一个针对领域适应中选择方法的框架,区分五种场景并提供相应建议。评估结果表明该框架有效,为研究人员和从业者提供指导。

A Problem-Oriented Framework for Domain Adaptation in Machine Learning

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-01-08T00:00:00Z

本研究探讨了任务导向对话系统中用户挫败感的检测,评估结果显示,基于大型语言模型的方法在F1得分上比其他开源方法提高了16%。

Stupid Robot, I Want to Talk to a Human! User Frustration Detection in Task-Oriented Dialogue Systems

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-11-26T00:00:00Z

本研究提出了一种上下文化评估协议,旨在解决语言模型评估中的上下文缺失问题。研究表明,上下文显著影响评估结果,揭示了模型在不同情境下的表现差异,促进了对模型行为的新理解。

Contextualized Evaluations: Eliminating Guesswork in Language Model Assessments

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-11-11T00:00:00Z

本研究探讨了大型组织中专家寻找系统的偏差评估,分析了自动化推荐对评估结果的影响,并提出改进的注释流程,以避免系统的过度估计,确保评估结果的真实性和有效性。这些发现有助于优化专家寻找的基准创建和选择。

On the Biased Assessment of Expert Finding Systems

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-10-07T00:00:00Z

北大/通研院提出了新的基准数据集LooGLE,用于评估大语言模型对长文本的理解能力。数据集包含近800个超长文档,构建了6千个不同领域和类别的任务/问题。评估结果显示商业模型和开源模型在复杂的长依赖任务中准确率不高。LooGLE为长上下文LLMs提供了全面评估,为未来增强型模型的开发提供了启示。

无一大模型及格! 北大/通研院提出超难基准,专门评估长文本理解生成

量子位
量子位 · 2024-08-07T07:13:13Z

研究表明,人类对语言模型的偏好和错误敏感度较低,倾向于支持符合自身观点的回答。高级语言模型如GPT-4-Turbo更注重正确性和清晰度。通过对齐技术,模型评分可被操控,显著影响评估结果。研究探讨了多种对齐方法及人类反馈在大型语言模型中的应用,并提出新的训练策略以提高模型对齐性能。

大型语言模型人类偏好学习综述

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-06-17T00:00:00Z

阿里巴巴的论文介绍了PolarDB数据库中实现低延迟强一致性读取的方法,通过将重做日志传送到只读节点提高性能。论文还介绍了线性化读取的方法,包括屏障和冲洗。评估结果显示PolarDB-SCC方案非常成功。

PolarDB-SCC:阿里低延迟强一致性读取的云数据库分析

极道
极道 · 2023-12-06T03:34:00Z

本文介绍了从维基百科数据中创建特定语言BERT模型的自动化流程,并引入了42个新的模型。评估结果显示,这些特定语言模型在某些语言方面有显著改进。初步结果为了解特定语言模型的最佳条件提供了第一步。

PhayaThaiBERT:用未吸收外借词增强预训练泰语语言模型

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-11-21T00:00:00Z

该文介绍了任务视觉问题生成(VQG),旨在在展示图片后提出自然而引人入胜的问题。提供了三个数据集,涵盖了各种图像。评估结果表明,模型为各种图像提出了合理的问题,但与人类性能的差距很大。作者希望进一步探索将图像与常识和语用知识联系起来的相关研究。

孟加拉语中的视觉问题生成

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-10-12T00:00:00Z

该研究提出了一种新颖的神经模型,用于生成现代法语诗歌。该模型由两个预训练的神经模型组成,经过微调以进行诗歌生成任务。评估结果表明,该模型能够成功地生成法语诗歌,输出诗歌的典型性和情感得分最低为3.57分,可读性得分最高为3.79分。

使用深度学习技术生成的乌尔都诗歌

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-09-25T00:00:00Z

该文介绍了任务视觉问题生成(VQG),旨在在展示图片后提出自然而引人入胜的问题。提供了三个数据集,通过训练和测试几种生成和检索模型来解决 VQG 这个任务。评估结果表明,尽管这样的模型为各种图像提出了合理的问题,但与人类性能的差距仍然很大。

中文自然语言问题的自动数据可视化生成

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-09-14T00:00:00Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码