基于标记的决策准则在上下文学习中存在亚最优问题
内容提要
现代自回归语言模型研究了上下文学习中的校准问题。实验表明，模型大小和数据集微调对性能与校准之间的权衡有显著影响。提出的线性校准技术（LinC）在少量样本下显著提升模型预测性能，平均改善率达21%。此外，研究了标签偏移现象，并提出生成校准方法，优化了文本分类任务的表现。
延伸解读
校准与性能的权衡
文章指出，在上下文学习中，模型规模增大、示例增多以及使用指导、对话或强化学习微调时，性能与校准之间存在权衡。常用的重新校准技术对校准错误的改善有限，因此在需要可靠预测的场景下，可能需要新的校准方法。
LinC：小样本下的高效校准
线性校准技术（LinC）仅需少量标记样本（如五个）即可对GPT模型的概率输出进行校准，平均提升性能21%，某些情况下高达50%。该方法在资源有限时能提升PEFT方法的性能，且对标签比例、提示模板和演示排列具有鲁棒性。
标签偏移与生成校准
文章首次确定了上下文学习中的标签偏移现象，并提出生成校准方法，通过调整标签边际分布来校准预测分布。实验表明，该方法在文本分类任务中显著且一致地优于其他校准方法，并对不同提示配置保持稳定。
批量校准与NoisyICL
批量校准（BC）方法通过控制批量输入的上下文偏差，统一了先前方法，且零样本、仅推理时存在、额外成本极低。扩展后可从标记数据中学习偏差，在PaLM 2和CLIP上验证有效。NoisyICL则通过引入随机噪声，改善性能和校准，产生更准确、公平、可靠的预测。
Q&A
什么是线性校准技术（LinC）？
线性校准技术（LinC）是一种在少量样本下显著提升模型预测性能的方法，能够改善基于上下文学习的模型的概率输出校准。
模型大小和数据集微调如何影响性能与校准的权衡？
增加模型大小和上下文学习示例，以及使用指导和强化学习等方法进行微调，会显著影响模型的性能与校准之间的权衡。
标签偏移现象是什么？
标签偏移现象是指在上下文学习中，标签的边际分布与预测分布之间存在不一致，可能导致模型性能下降。
如何通过优化问题提高文本分类的准确性？
通过优化上下文学习中的示例排序，可以选择更好的上下文示例，从而提高文本分类的准确性。
NoisyICL方法的作用是什么？
NoisyICL方法通过在模型参数中引入随机噪声，旨在改善In-Context Learning的性能和校准，提供更准确和可靠的预测结果。
批量校准（BC）方法的优势是什么？
批量校准（BC）方法能够有效控制批量输入的上下文偏差，统一多种校准方法，并在少样本设置下表现出色，成本低。
