通过潜在概念变量实现公平的上下文学习
原文中文，约300字，阅读约需1分钟。发表于：。本研究解决了大型语言模型（LLMs）在上下文学习中存在的固有社会偏见和歧视问题。我们提出了一种利用潜在概念变量的最佳演示选择方法，并设计了数据增强策略，以促进学习过程中的公平性。实验结果表明，该方法在表格数据集上改善了公平性，保持了模型的有效性。
大型自回归模型如Transformer通过上下文学习来解决任务，但在任务相关的潜变量提取上与标准模型差异不大。研究表明，尽管瓶颈层能够提取潜变量，但下游处理仍难以进行稳健预测，显示出Transformer在结构化上下文学习中的局限性。
