PEARL：迈向具有置换鲁棒性的语言模型

本研究针对大型语言模型在上下文学习中易受演示顺序影响导致预测不稳定的问题，提出了一种新框架——置换鲁棒学习（PEARL）。该框架通过优化对最坏输入置换的模型性能来增强模型的内在鲁棒性，实验结果表明，PEARL显著缓解了置换攻击，并在多样例和长上下文场景下提升了模型表现，最高可达40%的性能提升。