多语言大模型中的跨语言表示对齐能提升跨语言任务性能。传统对齐方法需大量计算资源和数据,而模型干预是一种更高效的替代方案。我们分析了一种流行的干预方法(寻找专家),发现通过操控神经元可增强跨语言对齐,检索任务性能最高可提高2倍准确率。
本研究探讨了资源丰富语言与低资源语言之间的标注资源差异,提出了mTEMPREASON数据集和跨语言时间敏感语义对齐(CLITSSA)方法,显著提升了低资源语言的时间推理能力。实验结果显示,CLiTSSA在罗马尼亚语、德语和法语的时间任务中优于现有基准。
本研究提出AlignXIE模型,旨在解决大语言模型在多语言信息提取中的跨语言对齐不平衡问题。AlignXIE通过将信息提取任务转化为代码生成,并结合翻译实例预测,展现出优越的跨语言信息提取能力,超越了ChatGPT等技术。
本文探讨了大型语言模型的上下文学习(ICL)新范式,分析了训练策略、示例设计及其挑战。研究表明,ICL在少量样本下表现优异,不同模型对上下文示例的利用差异显著。通过优化示例排序和双向对齐方法,提升了文本分类的准确性,并提出了跨语言对齐策略,显示出在多任务中的有效性。整体上,ICL为模型的安全性和对齐性提供了新的视角。
完成下面两步后,将自动完成登录并继续当前操作。