Set Language Model: A Permutation-Invariant Language Model

本文探讨了当前大规模语言模型在处理输入顺序上的脆弱性，导致模型在选择时表现出顺序偏差。我们提出了一种新颖的架构调整——集合语言模型（Set-LLM），能够处理混合集合文本输入，并保证排列不变性，从而消除了顺序敏感性，进一步提升了模型在多个应用场景中的鲁棒性和准确性。

本文探讨了大规模语言模型在处理输入顺序时的脆弱性，导致顺序偏差。提出了一种新架构——集合语言模型（Set-LLM），旨在处理混合集合文本输入，消除顺序敏感性，从而提升模型的鲁棒性和准确性。

model 准确性语言模型集合语言模型顺序偏差鲁棒性