小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI
评估自主系统的伦理问题

麻省理工学院的研究人员开发了一种自动评估方法,旨在识别AI决策中的伦理问题。该方法利用大型语言模型(LLM)捕捉利益相关者的偏好,并在成本、可靠性与公平等主观价值之间进行平衡。通过分层结构,系统能够有效识别符合伦理标准的场景,从而优化决策过程。

评估自主系统的伦理问题

MIT News - Artificial intelligence
MIT News - Artificial intelligence · 2026-04-02T04:00:00Z
大型语言模型评估指南

安全授权MCP服务器访问复杂,涉及PKCE、范围、同意流程及撤销访问的方法。LLM评估面临概率性挑战,需要系统化评估方法。自动与人工评估各有优缺点,应结合使用。建立评估流程并定期迭代,以确保模型性能。

大型语言模型评估指南

ByteByteGo Newsletter
ByteByteGo Newsletter · 2026-01-12T16:30:42Z
谁来监督监督者?大型语言模型对大型语言模型的评估

随着生成性AI的普及,工程师们关注应用的可靠性。尽管人类评估被认为是金标准,但其扩展性有限,因此越来越多团队开始使用大型语言模型(LLM)进行自动评估。研究表明,LLM的评估结果与人类评估相符,但仍需人类参与以确保质量。

谁来监督监督者?大型语言模型对大型语言模型的评估

Stack Overflow Blog
Stack Overflow Blog · 2025-10-09T14:00:40Z
生成性与预测性人工智能在应用安全中的全面概述

人工智能(AI)正在变革应用安全,通过提升漏洞发现、自动评估和半自主攻击面扫描等方式。本文探讨了生成性和预测性AI在应用安全中的应用,分析了AI驱动的应用防御的现状、局限性及未来方向。AI工具通过生成新数据和预测漏洞,增强了安全生命周期的各个环节。尽管AI功能强大,但仍需关注误报、模型偏见和新威胁等问题。

生成性与预测性人工智能在应用安全中的全面概述

DEV Community
DEV Community · 2025-05-20T02:57:35Z
应用安全中生成性与预测性人工智能的全面指南

机器智能正在重新定义应用安全,通过提升漏洞识别、自动评估和半自主恶意活动检测能力。文章回顾了AI在安全测试中的发展历程、当前能力、面临的挑战及未来方向,强调了AI在应用安全中的重要性与潜力。

应用安全中生成性与预测性人工智能的全面指南

DEV Community
DEV Community · 2025-05-19T14:22:08Z

本研究提出了一种基于文本中心的多模态评估方法,旨在解决课堂话语评估的不足。通过注意力机制和多任务学习,评估自然话语、提问和解释的质量。结果表明,文本模态主导,音频特征提升了模型与人类评分的一致性,为自动评估课堂话语质量奠定了基础。

Multimodal Assessment of Classroom Discourse Quality: A Text-Centered Attention-Based Multi-Task Learning Approach

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-05-12T00:00:00Z

本研究探讨了检索增强生成(RAG)系统的评估方法,分析了63篇学术文章,提出了一种新颖的自动评估方法,并强调了域特定数据集在基准测试中的重要性,为RAG系统的评估提供了更严格的指导。

Can Large Language Models Be Trusted for Evaluating Retrieval-Augmented Generation Systems? A Survey of Methods and Datasets

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-04-28T00:00:00Z
高效开源的项目管理平台:项目规划、任务管理、缺陷追踪 | 开源日报 No.586

OpenProject 是一款开源项目管理软件,支持敏捷开发、任务管理和时间跟踪。Headlamp 是友好的 Kubernetes 界面,支持多集群管理。Chrome-GPT 是实验性代理,可控制 Chrome 浏览器。alpaca_eval 是高效的自动评估工具,用于模型性能比较。linux-basics-course 是学习 Linux 基础知识的课程。

高效开源的项目管理平台:项目规划、任务管理、缺陷追踪 | 开源日报 No.586

开源服务指南
开源服务指南 · 2025-04-26T23:35:59Z

本文提出了一种基于Torrance创意写作测试的自动评估方法,旨在解决机器生成文本的创造力评估问题。该方法通过与高质量参考文本进行比较,提高了评估的一致性,实验结果显示配对准确率达到0.75,提升幅度为15%。

Automated Creativity Evaluation for Large Language Models: A Reference-Based Approach

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-04-22T00:00:00Z

本研究探讨了文档级翻译评估的关键问题,强调了自动评估指标的重要性,并提出了未来的发展方向,包括用户友好的评估方法和机器翻译评估的训练模型。

Automated Evaluation Metrics for Document-Level Translation: Overview, Challenges, and Trends

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-04-21T00:00:00Z
🧠 利用GenAI自动评估聊天机器人:流程、提示与证据

聊天机器人评估仍然面临挑战,传统的BLEU和ROUGE方法效果有限。研究者利用Google的Gemini 2.0模型开发了一个自动评估系统,能够根据相关性、帮助性、清晰度和事实准确性对聊天机器人回复进行评分。Gemini在真实对话数据中展示了评估的一致性和有效性,为模型比较提供了便利。

🧠 利用GenAI自动评估聊天机器人:流程、提示与证据

DEV Community
DEV Community · 2025-04-10T15:27:53Z
🧠 利用生成性人工智能评估聊天机器人:问题、潜力与计划

随着聊天机器人快速发展,评估却未能跟上。利用Gemini 2.0 Flash模型,我开发了一个自动评估系统,能够根据相关性、清晰度、帮助性和事实性对聊天机器人回复进行评分,从而解决人工评估效率低的问题。

🧠 利用生成性人工智能评估聊天机器人:问题、潜力与计划

DEV Community
DEV Community · 2025-04-10T15:27:27Z

本文探讨了大型语言模型中的偏见问题,提出了一种可扩展的基准框架,通过多任务方法检测社会文化维度的偏见,并利用大型语言模型进行自动评估。研究揭示了模型大小与安全性之间的权衡,为未来更公平的语言模型发展提供指导。

Benchmarking Adversarial Robustness to Bias in Large Language Models: Scalable Automated Assessment Using LLM as a Judge

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-04-10T00:00:00Z

本研究提出了一种框架,用于自动评估大型语言模型在低资源语言中的脆弱性。研究发现,尽管模型表现不佳,但风险较小,主要源于模型的无效反应。

A Framework for Evaluating the Multilingual Vulnerabilities of Large Language Models

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-03-17T00:00:00Z

本研究提出了ProjectEval基准,旨在解决现有编程智能体在代码生成能力评估方面的不足,特别是从用户角度进行的自动评估和结果可解释性。研究表明,系统化的工程项目代码及对项目的整体理解是实现实际项目的关键,为开发更有效的编程智能体提供了重要见解。

ProjectEval: A Benchmark for Automated Evaluation of Project-Level Code Generation by Programming Agents

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-03-10T00:00:00Z
应用安全中生成性和预测性人工智能的全面指南

人工智能正在变革应用安全,提升漏洞识别、自动评估和自主威胁猎捕能力。本文分析了生成性和预测性AI在应用安全中的应用,探讨了AI驱动的应用防御的增长、现代能力及其局限性,以及未来发展方向。AI工具在代码审查和动态测试等阶段提升了安全性和效率。

应用安全中生成性和预测性人工智能的全面指南

DEV Community
DEV Community · 2025-02-24T09:27:23Z

本研究探讨了大型语言模型(LLMs)在自动评估中的非传递性问题,发现评审存在非传递偏好,影响模型排名。为提高排名的可靠性,提出结合循环赛和Bradley-Terry模型的方法,并引入瑞士式迭代配对以提升效率。

研究LLM作为评审的非传递性

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-02-19T00:00:00Z

本研究探讨了自动语法错误纠正(GEC)系统评估中人类偏好与自动评估之间的差距。提出了一种新的自动评估指标聚合方法,实验结果显示该方法在SEEDA基准上优于现有指标,且基于BERT的指标有时超越GPT-4的表现。

Rethinking Evaluation Metrics for Grammatical Error Correction: Why Use a Different Evaluation Process than Humans?

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-02-13T00:00:00Z
教育中的人工智能:学习与教学的未来

人工智能(AI)正在教育领域变革,通过个性化学习、自动评估和在线支持提升学习效果。AI平台如DreamBox和Gradescope实时分析学生表现,提供定制反馈,节省教师时间。AI聊天机器人和在线学习平台如Coursera拓宽了优质教育的获取途径。然而,需关注隐私和算法偏见等伦理问题,以确保教育公平与有效。

教育中的人工智能:学习与教学的未来

DEV Community
DEV Community · 2025-02-08T11:53:06Z

本研究提出了一种自动评估框架,用于检测定制GPT模型的安全和合规性风险。分析结果显示,58.7%的模型存在不合规问题,为提升聊天机器人平台的安全性提供了依据。

Towards Safer Chatbots: A Framework for Policy Compliance Evaluation of Custom GPTs

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-02-03T00:00:00Z
  • <<
  • <
  • 1 (current)
  • 2
  • 3
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 模力方舟 Gitee AI 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码