本研究提出了一种名为Biomed-DPT的双模态提示调优技术,旨在提升生物医学图像分类的提示学习效果。通过结合临床提示、领域适应提示和视觉提示中的零向量软提示,该方法显著提高了分类准确率。
本研究提出了一种扩散驱动提示调优(DDPT)方法,旨在解决大规模语言模型在代码生成中对提示质量的依赖问题,从而显著提升提示优化效果。
本研究探讨了提示调优中嵌入崩溃现象对模型性能的影响,发现嵌入先验显著影响调优位置,模型能够有效处理不同激活空间的嵌入,且生成轨迹超出模型激活空间,揭示了大规模语言模型的泛化能力。
本研究提出了一种上下文感知提示调优(CPT)方法,以解决少量样本学习中的过拟合问题。CPT结合上下文学习和对抗攻击,优化训练示例的上下文嵌入,显著提升多个分类任务的准确性,展现出良好的应用潜力。
本研究提出了一种基于提示调优的连续预测方法,解决时空图预测模型在数据流环境中的重训练效率低和遗忘问题。通过优化存储提示的使用,提高了模型在交通流量、空气质量等场景中的预测效果和效率。
研究推出了开源框架TuneVLSeg,旨在降低视觉语言分割模型在新领域适应时的调优成本。通过整合多种提示调优技术,发现视觉提示调优在领域迁移中表现出色,超参数需求少,具有初步尝试的潜力。
大型语言模型(LLM)是基于深度学习的机器学习模型,能够理解和生成类似人类的文本。其主要应用包括聊天机器人、内容生成和翻译。LLM的调优分为微调和提示调优,微调通过特定数据集进一步训练模型,而提示调优则通过设计特定提示来引导模型生成所需输出,从而提升在特定任务中的表现。
本研究提出了多表现指导的提示调优(MePT)方法,解决了现有方法只能将图像映射到单一表现的问题。实验证明,MePT提高了模型的泛化能力。
该研究探讨了通过优化语言模型提示和降低困惑度来提升零-shot学习性能。提出了多级提示调优方法,结合任务和上下文相关提示,显著提高了机器阅读理解能力。同时引入了新度量标准“prompt flatness”,在分类任务中提升了准确性和相关性。研究还评估了基于提示的文本难度,展示了大型语言模型在教育应用中的潜力。
DSPy是斯坦福NLP小组开发的框架,旨在通过“编程而非提示”构建复合AI系统。它与Databricks集成,优化AI系统性能,自动化提示调优,提升生成能力。DSPy在多种语言模型任务中表现优异,超越传统提示工程,用户可通过Databricks构建和评估DSPy应用。
该文综述视觉-语言模型对抗鲁棒性研究,涵盖多种方法:AdvPT提升图像编码器鲁棒性;文本增强实现CLIP免重训稳健增强;MVP通过改进输入提升对抗稳健性;Approximated Prompt Tuning降低计算复杂度;提示对抗攻击与训练;视觉提示适应下游任务;评估开源模型脆弱性;发现提示调整可抗标签噪声;多尺度特征提示应对分布偏移。
本文综述大语言模型与图神经网络结合的研究进展,涵盖文本属性图节点分类、知识蒸馏、图拓扑优化及提示调优等方法,实验表明这些方法在多个基准上提升了性能与可解释性。
该文综述视觉语言模型的参数高效微调方法,涵盖黑盒优化、提示调优、适配器与多任务学习等方向。研究利用大语言模型自动搜索文本提示,在少样本图像分类中提升性能;提出合作式黑盒调整、VeCAF、CRaSh、跨模态提示调优、CP-Tuning、SoftCPT、CoPrompt 等方法,在多个下游基准上显著改进,并兼顾隐私与泛化能力。
该文综述基于预训练Transformer与提示/适配器的持续学习研究:采用Adapters增量训练避免灾难性遗忘;连续提示调优实现知识迁移;Prompt-DT支持离线强化学习少样本适应;L2P动态管理提示以保留任务知识;注意力关键查询缓解过度遗忘;Progressive Prompts提升连续学习准确率;RMDT引入递归记忆;S-Prompting减少领域增量学习中的遗忘;HDT利用超网络适配新任务;动态特殊标记扩展解码器以适应任务分布。
该文综述了CLIP视觉-语言预训练模型的多种改进方法:MAFT通过掩码感知微调缓解零样本分割的虚假阳性;RoCLIP用随机示例对比断开损坏图文对关联以提升鲁棒性;少样本微调在分布转变下优于纯视觉模型;零样本异常检测利用文本提示与价值关注机制定位异常;Tip-Adapter以键值缓存构建免训练适配器,高效提升少样本能力;此外还涉及对抗性微调、AdvCLIP对抗样本、AdvPT提示调优、APE自适应先验精细化及WiSE-FT权重平均等提升鲁棒性与性能的方法。
完成下面两步后,将自动完成登录并继续当前操作。