小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI
通过用户写作样本预测偏好来对齐LLM

本文介绍了PROSE,一种通过用户写作样本提升偏好描述精确度的方法。PROSE通过迭代优化和多样本验证,增强了LLM代理对人类偏好的理解,写作质量比现有方法CIPHER提高了33%。结合ICL,效果再提升9%。

通过用户写作样本预测偏好来对齐LLM

Apple Machine Learning Research
Apple Machine Learning Research · 2025-06-27T00:00:00Z

本研究解决了在编码的多输入多输出(MIMO)系统中,针对软输入软输出信道均衡的局限性,提出了一种新颖的基于上下文学习(ICL)的框架。通过提示信号和解码反馈的直接推理,该方法实现了符号估计的迭代优化,实验表明该方法在传统线性假设失效情况下的性能优于常规模型。

Turbo-ICL: 基于上下文学习的涡轮均衡

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-05-09T00:00:00Z

本研究解决了当前基于大语言模型(LLMs)的表格数据生成方法的局限性,特别是随机示例选择导致的生成质量下降。提出了一种创新的上下文学习框架TabGen-ICL,通过迭代方式从真实样本中检索代表残差的子集,显著提高了生成质量,并在五个真实世界表格数据集上表现出优越性,误差率减少了3.5%-42.2%。

TabGen-ICL:残差意识的上下文示例选择用于表格数据生成

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-02-23T00:00:00Z

本研究旨在填补对语言模型中链式思考(CoT)与上下文学习(ICL)之间关系的理解空白。提出的CoT-ICL实验室框架通过合成数据集,揭示了模型深度与有限上下文示例的关联,发现更深层模型能更有效地利用CoT,而浅层模型则需更多示例才能达到更深层模型的表现。此外,限制训练中的标记处理功能多样性有助于因果结构学习的改善。

CoT-ICL实验室:研究上下文示范中链式思考学习的培养基

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-02-21T00:00:00Z

本研究旨在从电子健康记录中提取并标准化关键医疗发现,以应对多样化表述的挑战。通过命名实体识别模型和同义词边际化等技术,提取和标准化的F1分数提升了2.6%,展示了自动化医疗数据处理的潜力,为生物医学研究开辟新路径。

KU AIGEN ICL EDI@BC8 Track 3: Advancing Phenotype Named Entity Recognition and Normalization in Dysmorphology Physical Examination Reports

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-01-16T00:00:00Z

本文评估了长上下文语言模型(LCLMs)的性能,发现其在复杂推理任务中的表现不佳,仅有效利用上下文的10-20%。研究提出了LOFT和BABILong基准,强调了长上下文学习的挑战与潜力,并建议改进提示策略和模型架构以提升性能。

使用终身 ICL 和任务焦点对长篇语言模型进行压力测试

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-07-23T00:00:00Z

本文提出了一种创新的少样本嵌套命名实体识别框架,利用示例演示选择机制和对比学习生成高质量示例。实验结果表明,该系统在多个数据集上表现优异,尤其在有限样本设置中超越了微调性能。同时,研究探讨了上下文学习的挑战和未来方向,强调了示例选择对模型性能的重要性。

P-ICL:大型语言模型的点上下文学习用于命名实体识别

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-05-08T00:00:00Z

本文介绍了在MEDIQA-Chat 2023共享任务中使用预训练语言模型和大型语言模型生成临床笔记的方法,并取得了出色的自动指标和高排名。基于ICL的方法和GPT-4生成的笔记受到专业人士的欢迎,是有前途的自动生成笔记的途径。

AgentMD:借助大规模临床工具学习提升语言代理人的风险预测能力

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-02-20T00:00:00Z

大型语言模型(LLMs)在上下文学习(ICL)方面展示了显着的能力,尤其是对于大型模型。ICL对标签扰动的敏感性较低,并且随着模型大小的增加,ICL逐渐获得与监督学习(SL)相当的性能。

神经网络中的现场学习出现人类课程效果

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-02-13T00:00:00Z

大型语言模型(LLMs)在上下文学习(ICL)方面展示了显着的能力,通过少量的训练示例学习新任务。黄金标签对下游上下文性能有显著影响,不平衡标签对ICL影响较小。ICL对标签扰动的敏感性较低,随着模型大小的增加,ICL获得与SL相当的性能。

NoisyICL: 模型参数微噪音对上下文学习的校正

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-02-08T00:00:00Z

大型语言模型(LLMs)在上下文学习(ICL)方面展示了显着的能力,尤其是对于大型语言模型。ICL对标签扰动的敏感性较低,并且随着模型大小的增加,ICL逐渐获得与监督学习(SL)相当的性能。

上下文学习可以重新学习被禁止的任务

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-02-08T00:00:00Z

本文介绍了在MEDIQA-Chat 2023共享任务中生成临床笔记的方法,包括微调预训练语言模型和使用大型语言模型进行上下文学习。这两种方法在自动指标上表现出高性能,并在共享任务中获得高排名。基于ICL的方法和GPT-4生成的笔记受到专业人士的欢迎,是有前途的自动生成笔记的途径。

利用大型语言模型在电子健康记录中进行主诉自动完成

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-01-11T00:00:00Z

大型语言模型(LLMs)在上下文学习(ICL)方面展示了显着的能力,通过少量训练示例学习新任务。研究发现黄金标签对下游上下文性能有显著影响,不平衡标签对ICL影响较小。ICL对标签扰动的敏感性较低,随着模型大小的增加,ICL逐渐获得与SL相当的性能。

在情境学习中,可比较的示范至关重要:对示范选择的新视角

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-12-12T00:00:00Z

通过在 GenBench 合作基准任务中引入 ICL 一致性测试,我们对适应任务的通过提示方法(如上下文学习)的大型语言模型执行预测的一致性进行了评估,并发现所有测试的 LLM 模型均缺乏强健的泛化能力。

ICL 一致性测试

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-12-08T00:00:00Z

大型语言模型(LLMs)在上下文学习(ICL)方面展示了显着的能力,通过少量训练示例学习新任务。研究发现黄金标签对下游上下文性能有显著影响,不平衡标签对ICL影响较小。ICL对标签扰动的敏感性较低,随着模型大小的增加,ICL获得与SL相当的性能。

逐步了解演示的递增效用:针对少样本上下文学习重排的分析

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-11-16T00:00:00Z

大型语言模型(LLMs)在上下文学习(ICL)方面展示了显着的能力,通过少量训练示例学习新任务。研究发现黄金标签对下游上下文性能有显著影响,不平衡标签对ICL影响较小。ICL对标签扰动的敏感性较低,随着模型大小的增加,ICL获得与SL相当的性能。

利用代码提高语境学习的语义解析

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-11-16T00:00:00Z

本文介绍了in-context learning (ICL)的概念和算法及其在multitask learning领域的应用。使用transformer model的方式,详细探讨了ICL在i.i.d.和动态数据下的泛化界限及其稳定性,以及任务复杂度和MTL任务数量对转移学习风险的影响。最后,提出了数值评估,并验证了理论预测。

变压器中新出现的情境学习的瞬时性质

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-11-14T00:00:00Z

本文研究了大型语言模型在上下文学习中的表现,发现黄金标签对下游上下文性能有显著影响,但不平衡标签对ICL的影响较小。ICL对标签扰动的敏感性较低,随着模型大小的增加,ICL的性能逐渐与监督学习相当。

指示我更多!用于视觉背景学习的随机提示

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-11-07T00:00:00Z

本文研究了大型语言模型在上下文学习中的表现,黄金标签对下游上下文性能有显著影响,但不平衡标签对ICL的影响较小。ICL对标签扰动的敏感性较低,随着模型大小的增加,ICL逐渐获得与SL相当的性能。

通过演示重放改善上下文学习的输入 - 标签映射

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-10-30T00:00:00Z

本文研究了大型语言模型在上下文学习中的表现,发现黄金标签对下游上下文性能有显著影响,但不平衡标签对ICL的影响较小。ICL对标签扰动的敏感性较低,随着模型大小的增加,ICL的性能逐渐与监督学习相当。

面向情境学习的信息丰富的少样本提示与最大信息增益

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-10-13T00:00:00Z
  • <<
  • <
  • 1 (current)
  • 2
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码