本研究提出了一种通过优化输入嵌入(“软提示”)来评估语言模型潜力的新方法。这项技术有助于识别潜在能力并量化复杂模型中的不当行为,具有重要的应用前景。
本研究提出Yo'Chameleon模型,采用软提示调整技术,解决大型多模态模型在个性化知识和图像生成方面的不足。结果表明,该方法在少量样本下提升了图像质量,并保持了多模态性能。
本研究提出了一个评估软提示可解释性的理论框架,发现现有方法未能满足可解释性标准,并探索了优化训练提示的新方法,揭示了可解释性与任务性能之间的权衡。
本研究探讨了大语言模型中的提示压缩方法,以解决长提示带来的内存和推理成本问题。比较了硬提示和软提示的技术,分析其机制,并提出未来的优化方向,表明提示压缩能显著提高模型效率。
本研究提出了一种新方法,通过“软提示”嵌入和激活补丁技术提高微调模型的鲁棒性。动态激活组合和基于拒绝采样的自我指导微调方法在控制模型行为和提高生成效率方面表现优越,尤其在数据量较少时。
本文研究了提高大型语言模型性能的方法,包括细调、RAG和软提示等。测试发现,经过细调的模型和RAG方法在回答事件问题方面表现优于未修改版本的GPT 3.5。应用软提示可以显著提高性能。
本研究旨在通过软提示个性化文本到图像扩散模型,创造具有足够变化的新实例。解决方案允许模型学习一组软提示,并生成新的图像。研究还展示了提示分布对其他任务的适应性,并证明了方法的有效性。
本文研究了在预训练语言模型中插入可学习的嵌入或软提示,实现参数高效的Soft Prompt Tuning (SPT)方法。通过冻结模型参数并只训练软提示,可以减少计算成本和存储开销,并提升跨语言传递性能。同时,还探索了软提示相关因素对跨语言传递性能的影响。
PSPEM是一种新方法,解决了知识编辑方法的低效性和通用性问题。它通过自动寻找最佳软提示来克服提示工程的不透明性,实现了效率和准确性的最佳平衡。PSPEM在COUNTERFACT数据集上验证了其有效性,达到了近100%的编辑准确性和最高水平的流畅性。
基于多语言预训练模型的多语言提示翻译器(MPT)在低资源情景中表现出有效性,能够转移软提示到下游任务中,尤其在XNLI的少样本设置中,MPT比基线方法更为突出。
本研究通过插入可学习的嵌入或软提示到模型的输入层,将预训练语言模型调适到特定任务。研究发现,这种方法减少了计算成本和存储开销,同时增强了跨语言传递性能。研究还探索了不同因素对跨语言传递性能的影响。
DePT是一种新的参数高效微调方法,通过将软提示分解为较短的软提示和一对低秩矩阵并使用两个不同的学习率进行优化。在23个自然语言处理和视觉语言任务上的实验表明,DePT在某些情况下优于最先进的参数高效微调方法,包括完全微调基线。此外,DePT在模型规模增大时更加高效,并且适用于少样本学习设置和各种模型架构和规模。
完成下面两步后,将自动完成登录并继续当前操作。