小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI
我如何编程?(2025年11月版)

本文讨论了GPT模型的最新进展,特别是gpt-5.1-codex-max的使用体验。作者强调提示的重要性,并建议优化AGENTS.md以提升模型表现。同时,介绍了Conductor工具的优势,包括独立工作区和代码审查功能。最后,提醒读者建立评估系统,以更好地适应模型需求。

我如何编程?(2025年11月版)

Xuanwo's Blog
Xuanwo's Blog · 2025-11-28T01:00:00Z
通过定制评估者实现从试点到生产的转变

许多团队在将GenAI项目从试点转向生产时面临质量挑战。Databricks通过Judge Builder等解决方案,帮助客户建立评估系统,确保AI应用的性能、安全和合规。评估数据成为可重用资产,支持未来模型训练和工作流程验证。成功的团队将评估视为动态过程,持续调整标准以适应业务需求的变化。

通过定制评估者实现从试点到生产的转变

Databricks
Databricks · 2025-11-04T20:00:00Z
播客:如果无法测试,就不要部署:人工智能开发的新规则?

马格达莱娜·皮卡里耶洛重新定义了人工智能的思维方式,强调商业影响和成果。她主张评估系统应不仅关注准确性,还需展示实际商业价值,并通过持续反馈进行迭代开发,以实现最佳应用。

播客:如果无法测试,就不要部署:人工智能开发的新规则?

InfoQ
InfoQ · 2025-11-03T11:00:00Z
OpenAI新论文揭示AI模型出现幻觉的原因:并非神秘故障而是模型训练的奖励机制问题

OpenAI 研究表明,AI 模型产生幻觉的原因在于奖励机制鼓励错误回答而非承认不确定性。为此,需改革评估系统,奖励不确定性回答,以减少错误信息的自信输出。

OpenAI新论文揭示AI模型出现幻觉的原因:并非神秘故障而是模型训练的奖励机制问题

蓝点网
蓝点网 · 2025-09-07T04:27:44Z
AlphaWrite:通过进化提升AI叙事

AlphaWrite是一个新框架,通过结构化和可测量的改进来提升创意写作。它利用进化算法迭代生成多样化故事,并通过评估系统筛选优秀作品进行优化。尽管结果积极,但对AI在创作领域的作用存在不同看法。该系统同样适用于技术写作和学术内容。

AlphaWrite:通过进化提升AI叙事

InfoQ
InfoQ · 2025-06-21T11:34:00Z

本研究提出了DAHL,一个用于评估生物医学长文本生成中幻觉现象的基准数据集和自动评估系统。通过分析8573个问题,发现较大模型通常幻觉较少,并提出DAHL分数作为更高效的评估替代方案。

DAHL:针对生物医学领域长文本生成的领域特定自动化幻觉评估基准数据集

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-11-14T00:00:00Z

本文介绍了基于文本指导的图像编辑系统Imagene Editor,通过修复遮罩和处理细节实现编辑一致性。同时,提出了名为EditBench的评估系统来评估编辑效果。研究发现,对象遮罩处理可以提高文本与图像的对齐度和渲染效果,效果更佳在物体渲染和处理属性上。

文本引导图像编辑的超参数调优

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-07-31T00:00:00Z

控制系统分为开环和闭环,评估系统也有开环和闭环。开环控制系统不反馈输出,闭环控制系统反馈输出。开环控制系统简单但不准确可靠,闭环控制系统复杂但准确可靠。开环评估系统对确定性过程评估,闭环评估系统对有影响过程评估。自动驾驶中,控制系统通常为闭环,评估系统可以是开环或闭环。开环评估系统对确定性驾驶场景评估,闭环评估系统对有影响驾驶场景评估。

开环与闭环:控制与评估系统的比较

Lei Mao's Log Book
Lei Mao's Log Book · 2024-06-30T07:00:00Z

本文提出了一种新框架,用于评估语言模型(LLM)和人类评判者的偏见。结果显示人类和LLM评判者都容易受到扰动,并存在偏见。作者呼吁社区意识到评估系统的脆弱性,并开发健壮的评估系统。

通过少量解释来近似人类对 NLI 的判断分布:从小处寻找大视角

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-06-25T00:00:00Z

针对大型语言模型(LLMs)的可解释性低,现有评估系统忽视了响应的不确定性。提出了UBENCH,一个全面评估LLM可靠性的基准,包括3,978个多项选择题。UBENCH取得了最先进的性能,同时节省计算资源。评估了15个热门LLM,发现GLM4和GPT-4表现突出。探讨了Chain-of-Thought提示、角色扮演提示、选项顺序和温度对LLM可靠性的影响,并分析了对不同LLM的不同效果。

UBENCH:使用多项选择题对大型语言模型中的不确定性进行基准测试

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-06-18T00:00:00Z

本文提出了一种新的框架,用于评估语言模型和人类评判者的偏见。结果显示人类和语言模型评判者容易受到扰动,并存在相当大的偏见。作者呼吁社区意识到评判者脆弱性,并开发健壮的评估系统。

LLM 是否可以成为个性化的法官?

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-06-17T00:00:00Z

本文提出了一种新框架,用于评估语言模型和人类评判者的偏见。结果显示人类和语言模型评判者都容易受到扰动,并存在偏见。作者呼吁社区意识到评估系统的脆弱性,并开发健壮的评估系统。

法官的判断:对 LLMs 中两两比较评估的位置偏见的系统调查

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-06-12T00:00:00Z
How to Build Domain-Specific LLM Evaluation Systems

本文讨论了构建LLMs驱动的AI产品评估系统的重要性和方法。作者提出了三个层次的评估系统:单元测试、模型和人工评估以及A/B测试。作者强调了评估系统对于微调和调试的重要性。建议简化评估过程,持续更新测试,并利用评估系统进行调试和微调。

How to Build Domain-Specific LLM Evaluation Systems

DemoChen's Clip
DemoChen's Clip · 2024-03-31T02:51:35Z

本文提出了一种新的框架,用于评估语言模型和人类评判者的偏见。结果显示人类和语言模型评判者容易受到扰动,并存在相当大的偏见。作者呼吁社区开发健壮的评估系统。

LLM 作为法官是否稳健?对零样本 LLM 评估进行普适对抗攻击研究

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-02-21T00:00:00Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 模力方舟 Gitee AI 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码