增强大型语言模型的事实性通过协同解码关键标记
内容提要
该文汇总多项语言模型研究：利用外部知识库和大模型置信度进行无标注微调以提升生成正确性；通过句子表示对齐增强跨语言能力；分析生成模型训练动态以改进事实性和抽象度；提出CraFT协作微调、SciMult多任务对比学习、无幻觉蒸馏框架、概念感知语言模型CALM、事实知识补全框架、APT机器翻译框架及轻量隐私扰动机制，在少样本学习、科学文献理解、序列标记等任务上取得显著效果。
延伸解读
无标注微调与置信度利用
文章提到，通过利用外部知识库的一致性或大模型的置信度，可以在无需人工标注的情况下对语言模型进行微调，明显提高生成候选项的正确性。这种方法相比目标定向的RLHF和解码策略有显著改善，为降低标注成本提供了可行路径。
跨语言对齐的简单框架
通过翻译句子对齐内部句子表示，并回答不同语言的提示问题对齐模型输出，文章提出一个简单有效的对齐框架，显著增强生成模型的跨语言能力并减小性能差异。分析表明，这带来了更好的多语言内部表示分布。
训练动态与事实性提升
文章分析生成模型的训练动态，特别是总结任务，研究不同训练阶段模型学到的内容。通过简单的训练修正可以实现不同目标，例如提高事实性和抽象程度，这为针对性优化提供了依据。
多任务与蒸馏的实用进展
文章汇总了多项技术：CraFT协作微调用于黑盒视觉语言模型，SciMult多任务对比学习提升科学文献理解，无幻觉蒸馏框架在序列标记上表现卓越，CALM整合常识知识，以及事实知识补全框架和APT机器翻译框架。这些方法在少样本学习等任务上取得显著效果。
Q&A
如何在不进行人工标注的情况下提升语言模型生成内容的正确性？
可以利用外部知识库的一致性、大模型的置信度，或直接优化算法，对语言模型进行微调，从而在无需人工标注的情况下明显提高生成候选项的正确性，并比目标定向的RLHF和解码策略有显著改善。
有哪些方法可以增强语言模型的跨语言能力？
通过利用翻译句子对齐内部句子表示，并通过回答不同语言的提示问题对齐模型输出，可以提出一个简单有效的对齐框架，显著增强生成模型的跨语言能力并减小性能差异。
CraFT是什么？它有什么作用？
CraFT是一种协作微调方法，用于将黑盒预训练视觉语言模型应用于下游任务，通过仅获得输入提示和输出预测来优化模型，并在少样本分类上展示出显著结果。
SciMult框架在科学文献理解任务中表现如何？
SciMult是一个多任务对比学习框架，采用任务感知分化技术和指令调整技术，在多种科学文献的理解任务中优于现有科学语言模型。
如何解决大模型蒸馏中的幻觉问题？
可以提出一个无幻觉的框架，以序列标记为例，该框架非常适用于蒸馏，追求计算效率的蒸馏方法有望从大模型知识中获益，并在多个序列标记数据集上展现新的卓越表现，证明其在少量数据学习场景下进行大模型蒸馏的有用性。
CALM模型如何在不依赖外部知识图谱的情况下整合常识知识？
CALM通过增强自监督学习任务以从文本中学习常识，可以在不依赖外部知识图谱的情况下将更多常识知识整合到预训练的文本转文本变压器的参数中，从而在自然语言理解和生成任务中实现更好性能。
