DeepEval是一个开源Python库,用于评估各种LLM应用,提供50多种度量标准。结合LlamaIndex框架,用户可以构建复杂的RAG管道,通过定义答案相关性、忠实度和上下文精度等度量标准,优化模型性能并进行有效评估。
本研究探讨了人工智能影响评估中度量标准选择的合理性,特别关注伦理和社会价值的量化问题。提出了一种两步法,以明确概念并适配度量标准,从而提升评估的质量和可信度。
本文研究因果表示学习,提出可计算的度量标准以评估表示的非平凡性和解缠性。作者探讨了无干预情况下的可识别性,强调额外约束的重要性,并提出恢复潜在因果变量的算法,推动因果模型研究进展。
OpenXAI 是一个开源框架,用于评估和基准测试解释方法,包含合成数据生成器和真实数据集,提供22种度量标准以评估解释的准确性和公平性。此外,研究介绍了 AI Fairness 360 和 fairlib 等工具,旨在提高算法公平性和模型可解释性。
本文探讨了机器学习模型的校准问题,提出了多种度量标准以更准确地反映标定误差,并评估了常用神经网络的校准技术。研究表明,校准性能依赖于度量方法,并提出了新框架和模糊校准误差度量,以提高大型语言模型的校准能力和可靠性。
本文探讨了自然语言生成的人体动作度量标准,提出的新标准与人类判断相关性更高。研究表明,现有度量标准与人类评价的相关性较低,而基于MoBERT的新标准表现优异。文章回顾了人体运动生成的背景、主流方法及未来研究方向,旨在为该领域提供全面了解并激发新思路。
本文全面概述了神经网络中的不确定性估计,包括模型和数据的不确定性。探讨了不同方法建模不确定性及其在实际应用中的挑战,提出了新度量标准,并分析了模型复杂度与不确定度的关系,验证了其有效性。
本文探讨了人工智能方法中度量标准错误使用的负面影响,强调使用多种度量标准和定性分析以降低风险。研究指出目标规范偏见可能导致医疗决策不当,影响机器学习模型的实用性。提出了改进基准测试和量化指标框架的方法,以提高AI系统的透明度和可靠性。
本文综述机器学习分类器的过度置信与欠置信问题,介绍准确率、校准度等度量标准及其不足,并开展实证研究、开源度量库。研究发现不同度量标准对校准度优化与评价的结论可能截然不同。相关研究提出统一校准评估框架、回归校准方法、领域级校准误差指标及基于核的校准指标,并探索最小风险校准与贝叶斯校准程序。
谷歌工程生产力团队约2000人,由工程师与用户体验研究员、社会心理学家等组成,采用定量与定性结合的混合方法研究开发者生产力,通过日志分析、日记研究、访谈和季度工程满意度调查相互验证数据。研究认为生产力由速度、便捷性和质量三个维度构成,不存在单一指标;调查归纳出技术债务等十大影响因素,并强调度量标准需随团队与代码变化而调整。
该研究论文讨论了拜占庭机器学习中的关键问题,并提出了一种基于异常值鲁棒聚类的近似聚集器。该方法在度量标准上表现出优越性,为均匀和异构情况提供了近乎最优的聚集器。通过图像分类实验验证了提出的安全聚集框架的有效性。
研究展示了对抗感知错误的规划输入,通过边界攻击算法在CARLA模拟器中攻击两个不同黑盒规划器,适用于城市和高速公路驾驶场景。分析表明这些攻击在规划器的输入空间中是孤立的,对自动驾驶系统部署和测试有影响。
该文介绍了一种新的基线技术DLLP,结合自我监督目标的新公式,在隐私设置和弱监督下进行实验,取得了比基线模型更好的结果。实验涵盖了长篇和短篇文本的大规模模型,并使用多个度量标准进行评估。
该文介绍了一种提高分类器预测可行性的方法,并在文本数据上进行了评估。同时,对研究所提供的度量标准进行了初步验证。
本文探讨了联邦学习在物联网应用中的发展,提出了度量标准和分类法,并讨论了分散联邦学习的隐私保护用例和研究挑战。
本文提出了一个新任务:摘要多篇新闻文章中的多样信息,并创建了名为DiverseSumm的数据集。通过分析大型语言模型的度量标准,发现LLMs在摘要多篇新闻文章方面仍然存在挑战,主要是由于他们的覆盖范围有限。
本文提出了更准确反映标定误差的度量标准,并基于期望标定误差的推广,提出了几种不同的度量标准。作者对常用的神经网络结构和标定技术进行了实证评估,发现许多常用的标定技术在不同可靠性定义的标定误差上并未有统一的改善。
本文探讨了在动态多代理团队中定义和衡量信任的重要性,提出了一套可被人类或机器人团队成员理解的度量标准,并考虑了一个可以演示“满意信任”概念的实验。
Gartner提供了16个基于结果的度量标准,帮助组织构建更好的度量标准,以指导投资和向董事会报告网络安全情况。这些度量标准易于向非技术背景的高管解释,可以衡量保护水平,并支持直接投资以改变保护水平。需要持续收集数据以实现最佳效果。加入Gartner的生态系统并按照其定义测量这16个度量标准,可以为安全保护创建一个标准的尽职关怀。
越来越多的组织采用开源软件开发模式和组织文化的开源方面。研究大学、企业和其他有兴趣确定开源项目成功的组织已经开始合作,寻找以定性和数据驱动的方式来衡量社区的方法。CHAOSS是一个Linux基金会项目,旨在创建度量标准、度量模型和软件,以更好地了解全球范围内的开源社区健康状况。
完成下面两步后,将自动完成登录并继续当前操作。