小红花·文摘
  • 首页
  • AI Tokens🪙
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI
沉浸式翻译 immersive translate
使用DeepEval和LlamaIndex评估RAG

DeepEval是一个开源Python库,用于评估各种LLM应用,提供50多种度量标准。结合LlamaIndex框架,用户可以构建复杂的RAG管道,通过定义答案相关性、忠实度和上下文精度等度量标准,优化模型性能并进行有效评估。

使用DeepEval和LlamaIndex评估RAG

Blog on LlamaIndex Blog on LlamaIndex · 2025-07-03T00:00:00Z

本研究探讨了人工智能影响评估中度量标准选择的合理性,特别关注伦理和社会价值的量化问题。提出了一种两步法,以明确概念并适配度量标准,从而提升评估的质量和可信度。

Measuring the Right Things: A Defense of Metrics in AI Impact Assessment

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2025-04-07T00:00:00Z

本文研究因果表示学习,提出可计算的度量标准以评估表示的非平凡性和解缠性。作者探讨了无干预情况下的可识别性,强调额外约束的重要性,并提出恢复潜在因果变量的算法,推动因果模型研究进展。

将因果表示学习与不变性原理统一

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-09-04T00:00:00Z

OpenXAI 是一个开源框架,用于评估和基准测试解释方法,包含合成数据生成器和真实数据集,提供22种度量标准以评估解释的准确性和公平性。此外,研究介绍了 AI Fairness 360 和 fairlib 等工具,旨在提高算法公平性和模型可解释性。

FairX: 使用公平性,效用性和可解释性的综合性模型分析基准工具

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-06-20T00:00:00Z

本文探讨了机器学习模型的校准问题,提出了多种度量标准以更准确地反映标定误差,并评估了常用神经网络的校准技术。研究表明,校准性能依赖于度量方法,并提出了新框架和模糊校准误差度量,以提高大型语言模型的校准能力和可靠性。

全局完善:大型语言模型上的标记级校准度量

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-06-17T00:00:00Z

本文探讨了自然语言生成的人体动作度量标准,提出的新标准与人类判断相关性更高。研究表明,现有度量标准与人类评价的相关性较低,而基于MoBERT的新标准表现优异。文章回顾了人体运动生成的背景、主流方法及未来研究方向,旨在为该领域提供全面了解并激发新思路。

建立统一的人体动作生成评估框架:指标的比较分析

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-05-13T00:00:00Z

本文全面概述了神经网络中的不确定性估计,包括模型和数据的不确定性。探讨了不同方法建模不确定性及其在实际应用中的挑战,提出了新度量标准,并分析了模型复杂度与不确定度的关系,验证了其有效性。

预测不确定性和多样性在体验智能和机器人学习中的作用

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-05-06T00:00:00Z

本文探讨了人工智能方法中度量标准错误使用的负面影响,强调使用多种度量标准和定性分析以降低风险。研究指出目标规范偏见可能导致医疗决策不当,影响机器学习模型的实用性。提出了改进基准测试和量化指标框架的方法,以提高AI系统的透明度和可靠性。

人工智能中的规范过拟合

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-03-13T00:00:00Z

本文综述机器学习分类器的过度置信与欠置信问题,介绍准确率、校准度等度量标准及其不足,并开展实证研究、开源度量库。研究发现不同度量标准对校准度优化与评价的结论可能截然不同。相关研究提出统一校准评估框架、回归校准方法、领域级校准误差指标及基于核的校准指标,并探索最小风险校准与贝叶斯校准程序。

从不确定性到精确性:通过校准提升二元分类器性能

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-02-12T00:00:00Z
谷歌如何解锁并衡量开发者的生产力 [译]

谷歌工程生产力团队约2000人,由工程师与用户体验研究员、社会心理学家等组成,采用定量与定性结合的混合方法研究开发者生产力,通过日志分析、日记研究、访谈和季度工程满意度调查相互验证数据。研究认为生产力由速度、便捷性和质量三个维度构成,不存在单一指标;调查归纳出技术债务等十大影响因素,并强调度量标准需随团队与代码变化而调整。

谷歌如何解锁并衡量开发者的生产力 [译]

宝玉的分享 宝玉的分享 · 2023-12-30T18:50:00Z

该研究论文讨论了拜占庭机器学习中的关键问题,并提出了一种基于异常值鲁棒聚类的近似聚集器。该方法在度量标准上表现出优越性,为均匀和异构情况提供了近乎最优的聚集器。通过图像分类实验验证了提出的安全聚集框架的有效性。

利用 1-Center 和 1-Mean 聚类法处理带有离群值的分布式学习的近最优鲁棒聚合规则

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2023-12-20T00:00:00Z

研究展示了对抗感知错误的规划输入,通过边界攻击算法在CARLA模拟器中攻击两个不同黑盒规划器,适用于城市和高速公路驾驶场景。分析表明这些攻击在规划器的输入空间中是孤立的,对自动驾驶系统部署和测试有影响。

利用对抗感知误差攻击运动规划器

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2023-11-21T00:00:00Z

该文介绍了一种新的基线技术DLLP,结合自我监督目标的新公式,在隐私设置和弱监督下进行实验,取得了比基线模型更好的结果。实验涵盖了长篇和短篇文本的大规模模型,并使用多个度量标准进行评估。

基于标签比例的文本分类学习

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2023-10-18T00:00:00Z

该文介绍了一种提高分类器预测可行性的方法,并在文本数据上进行了评估。同时,对研究所提供的度量标准进行了初步验证。

宁愿是护士也不是医生 -- 对比解释的调查研究

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2023-10-18T00:00:00Z

本文探讨了联邦学习在物联网应用中的发展,提出了度量标准和分类法,并讨论了分散联邦学习的隐私保护用例和研究挑战。

均衡取舍:工业物联网网络入侵检测的联邦迁移学习

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2023-10-11T00:00:00Z

本文提出了一个新任务:摘要多篇新闻文章中的多样信息,并创建了名为DiverseSumm的数据集。通过分析大型语言模型的度量标准,发现LLMs在摘要多篇新闻文章方面仍然存在挑战,主要是由于他们的覆盖范围有限。

基于 LLM 的多文档总结:利用主事件有偏单调子模函数内容提取

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2023-10-05T00:00:00Z

本文提出了更准确反映标定误差的度量标准,并基于期望标定误差的推广,提出了几种不同的度量标准。作者对常用的神经网络结构和标定技术进行了实证评估,发现许多常用的标定技术在不同可靠性定义的标定误差上并未有统一的改善。

平滑 ECE: 基于核平滑的可靠性图

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2023-09-21T00:00:00Z

本文探讨了在动态多代理团队中定义和衡量信任的重要性,提出了一套可被人类或机器人团队成员理解的度量标准,并考虑了一个可以演示“满意信任”概念的实验。

满足分布式动态团队信任的步骤

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2023-09-11T00:00:00Z
16个指标改变网络安全的测量、报告和投资

Gartner提供了16个基于结果的度量标准,帮助组织构建更好的度量标准,以指导投资和向董事会报告网络安全情况。这些度量标准易于向非技术背景的高管解释,可以衡量保护水平,并支持直接投资以改变保护水平。需要持续收集数据以实现最佳效果。加入Gartner的生态系统并按照其定义测量这16个度量标准,可以为安全保护创建一个标准的尽职关怀。

16个指标改变网络安全的测量、报告和投资

Gartner Blog Network Gartner Blog Network · 2023-05-22T12:55:29Z
提供可操作洞见的开源社区分析

越来越多的组织采用开源软件开发模式和组织文化的开源方面。研究大学、企业和其他有兴趣确定开源项目成功的组织已经开始合作,寻找以定性和数据驱动的方式来衡量社区的方法。CHAOSS是一个Linux基金会项目,旨在创建度量标准、度量模型和软件,以更好地了解全球范围内的开源社区健康状况。

提供可操作洞见的开源社区分析

Opensource.com Opensource.com · 2023-04-05T07:00:00Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 1tok 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator 模力方舟 Gitee AI

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码