解剖近义句：预训练语言模型中提示句法和补充信息对知识检索的影响
内容提要
本文探讨了预训练语言模型（PLMs）在自然语言推理、情感分析和关系提取中的应用，提出了多种自动化提示生成方法和知识引导提示，以提高模型性能。研究表明，这些方法在生物医学知识和文本到SQL查询转换等任务中表现优越，推动了知识转移和提示学习的进展。
延伸解读
自动化提示生成：从手工到自动的演进
文章梳理了提示生成方法从手工设计到自动化的趋势。AutoPrompt等自动化方法被证明是现有探究方法的可行无参数替代，而基于挖掘和释义的自动化方法进一步提升了提示的多样性和质量，在LAMA基准上将准确性从31.1%提升至39.6%。这表明自动化提示生成能减少人工干预，为知识检索提供更严格的下限估计。
知识引导提示：注入结构化知识减轻偏见
为提升预训练语言模型对结构化知识的检索能力，文章介绍了知识提示范式KP-PLM和基于结构性因果模型的知识引导提示。KP-PLM将知识子图转化为自然语言提示，并设计知识感知的无监督任务；SCM方法则旨在减轻模型提取过程中的概念偏见。这些方法在多个自然语言理解任务和多语言知识图谱数据集上验证了有效性。
对比学习与探针技术：提升知识探测的鲁棒性
文章强调了对比学习在提示学习中的应用。ConsPrompt模型通过引入对比采样和评分模块，在少样本任务中表现出有效性和鲁棒性，且基于相似性的采样策略优于基于标签的策略。在生物医学领域，对比探针法被用于探究知识转移机制，并提出了MedLAMA基准，其中Contrastive-Probe方法性能优于其他方法，为更合适的探针技术提供了启示。
跨任务应用：从文本到SQL查询转换
文章展示了提示学习方法在文本到SQL查询转换任务中的潜力。基于大型语言模型的上下文学习方法，通过不同的演示选择策略和指令格式，在Spider数据集上超越了最先进系统2.5个点，并超出最佳微调系统5.1个点。这表明提示学习能有效提升LLMs在结构化查询生成任务中的性能，为知识检索和转换提供了新思路。
Q&A
预训练语言模型在自然语言处理中的应用有哪些？
预训练语言模型在自然语言推理、情感分析和关系提取等任务中表现出色。
什么是知识提示范式？
知识提示范式是将知识子图转化为自然语言提示的框架，旨在提升预训练语言模型的性能。
如何提高预训练语言模型在生物医学知识上的性能？
通过引入新的上下文变量提示和理解 - 困惑 - 误解 (UCM) 度量，可以改善模型在生物医学知识三元组上的性能。
ProP方法的主要特点是什么？
ProP方法利用GPT-3进行知识库构建，强调手动提示和变长回答集的有效性。
In-context learning方法在文本到SQL转换中的表现如何？
该方法在Spider数据集上的表现超越了最先进系统2.5个点，显示出显著的性能提升。
ConsPrompt模型在提示学习中的作用是什么？
ConsPrompt模型通过引入对比样本和对比评分模块，增强了提示学习的有效性和鲁棒性。
