小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI

本研究提出了一种通过优化输入嵌入(“软提示”)来评估语言模型潜力的新方法。这项技术有助于识别潜在能力并量化复杂模型中的不当行为,具有重要的应用前景。

评估的软提示:测量能力的条件距离

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-05-20T00:00:00Z

本研究提出Yo'Chameleon模型,采用软提示调整技术,解决大型多模态模型在个性化知识和图像生成方面的不足。结果表明,该方法在少量样本下提升了图像质量,并保持了多模态性能。

YoChameleon: Personalized Visual and Language Generation

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-04-29T00:00:00Z

本研究提出了一个评估软提示可解释性的理论框架,发现现有方法未能满足可解释性标准,并探索了优化训练提示的新方法,揭示了可解释性与任务性能之间的权衡。

Towards Interpretable Soft Prompts

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-04-02T00:00:00Z

本研究探讨了大语言模型中的提示压缩方法,以解决长提示带来的内存和推理成本问题。比较了硬提示和软提示的技术,分析其机制,并提出未来的优化方向,表明提示压缩能显著提高模型效率。

Prompt Compression for Large Language Models: A Survey

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-10-16T00:00:00Z

本研究提出了一种新方法,通过“软提示”嵌入和激活补丁技术提高微调模型的鲁棒性。动态激活组合和基于拒绝采样的自我指导微调方法在控制模型行为和提高生成效率方面表现优越,尤其在数据量较少时。

激活缩放用于引导和解释语言模型

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-10-07T00:00:00Z

本文研究了提高大型语言模型性能的方法,包括细调、RAG和软提示等。测试发现,经过细调的模型和RAG方法在回答事件问题方面表现优于未修改版本的GPT 3.5。应用软提示可以显著提高性能。

PEER:使用多智能体框架和调整方法专业化领域特定任务

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-07-09T00:00:00Z

本研究旨在通过软提示个性化文本到图像扩散模型,创造具有足够变化的新实例。解决方案允许模型学习一组软提示,并生成新的图像。研究还展示了提示分布对其他任务的适应性,并证明了方法的有效性。

EMMA: 您的文本到图像扩散模型可秘密接受多模态提示

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-06-13T00:00:00Z

本文研究了在预训练语言模型中插入可学习的嵌入或软提示,实现参数高效的Soft Prompt Tuning (SPT)方法。通过冻结模型参数并只训练软提示,可以减少计算成本和存储开销,并提升跨语言传递性能。同时,还探索了软提示相关因素对跨语言传递性能的影响。

多空间投影和提示融合的高效提示调整

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-05-19T00:00:00Z

PSPEM是一种新方法,解决了知识编辑方法的低效性和通用性问题。它通过自动寻找最佳软提示来克服提示工程的不透明性,实现了效率和准确性的最佳平衡。PSPEM在COUNTERFACT数据集上验证了其有效性,达到了近100%的编辑准确性和最高水平的流畅性。

通过重述前缀提示编辑语言模型的知识表示

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-03-21T00:00:00Z

基于多语言预训练模型的多语言提示翻译器(MPT)在低资源情景中表现出有效性,能够转移软提示到下游任务中,尤其在XNLI的少样本设置中,MPT比基线方法更为突出。

通过多语言提示翻译进行自然语言推理的跨语言迁移

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-03-19T00:00:00Z

本文研究了提高大型语言模型性能的方法,包括细调、RAG和软提示等。测试发现,经过细调的模型和RAG方法在回答事件问题方面表现优于未修改版本的GPT 3.5。应用软提示可以显著提高性能。

微调与检索增强生成:面向不那么流行的知识

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-03-03T00:00:00Z

本研究通过插入可学习的嵌入或软提示到模型的输入层,将预训练语言模型调适到特定任务。研究发现,这种方法减少了计算成本和存储开销,同时增强了跨语言传递性能。研究还探索了不同因素对跨语言传递性能的影响。

跨语言迁移的软提示调整:少即是多

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-02-06T00:00:00Z

DePT是一种新的参数高效微调方法,通过将软提示分解为较短的软提示和一对低秩矩阵并使用两个不同的学习率进行优化。在23个自然语言处理和视觉语言任务上的实验表明,DePT在某些情况下优于最先进的参数高效微调方法,包括完全微调基线。此外,DePT在模型规模增大时更加高效,并且适用于少样本学习设置和各种模型架构和规模。

通过低秩重参数化分解的提示调整

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-10-16T00:00:00Z

DePT是一种新的参数高效微调方法,通过将软提示分解为较短的软提示和一对低秩矩阵并使用两个不同的学习率进行优化。在23个自然语言处理和视觉语言任务上的实验表明,DePT在某些情况下优于最先进的参数高效微调方法,包括完全微调基线。此外,DePT在模型规模增大时更加高效,并且适用于少样本学习设置和各种模型架构和规模。

DePT: 解耦式提示调节

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-09-14T00:00:00Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码