利用大型语言模型中的偏差：针对高效少样本学习的 “偏差 - kNN
内容提要
本文综述了k近邻与预训练语言模型结合的多项研究：kNN-LMs通过线性插值降低困惑度并支持领域自适应；BERT-kNN提升开放域问答召回率；kNN校准框架改善上下文学习；Skill-KNN优化少样本选择；Fair-KGNN减轻知识图谱偏见；对比学习结合kNN增强鲁棒性；另有研究探索大模型嵌入对偏见检测的影响及少样本偏见识别方法。
延伸解读
kNN与语言模型结合的多场景价值
文章综述了kNN与预训练语言模型结合的多种应用：kNN-LMs通过线性插值降低困惑度并支持领域自适应；BERT-kNN提升开放域问答召回率，尤其擅长罕见事实；kNN校准框架改善上下文学习，在情感分析任务中接近调优方法。这些案例表明，kNN作为一种非参数组件，能灵活增强模型在少样本、领域迁移等场景下的表现。
少样本学习中的偏差利用与校准
文章提到Skill-KNN通过优化输入生成技能表示，克服表面特征干扰，在跨领域语义分析中优于现有方法；另有研究利用大语言模型嵌入分析偏见，发现BERT（尤其是迷你BERT）在偏见分类上表现较好，而多语言模型较差。这提示在少样本场景下，针对偏差进行校准和技能选择能提升模型鲁棒性，但需注意模型规模与语言覆盖的影响。
公平性与鲁棒性的增强路径
Fair-KGNN框架同时减轻知识图谱中的个体偏见和关系偏见，兼顾公平性与预测性能；监督动量对比学习结合kNN分类器进行微调，可提升文本分类的准确度和对抗鲁棒性。这些工作显示，kNN机制不仅能提升效率，还能与公平性、鲁棒性目标结合，为预训练模型在敏感应用中的部署提供参考。
Q&A
kNN-LMs 是如何提升语言模型性能的？
kNN-LMs 将预训练的神经语言模型与 k 最近邻模型进行线性插值，在 Wikitext-103 上实现了 15.79 的困惑度，比之前的最好结果提升了 2.9 点，且无需额外训练。该方法还能有效扩展到更大的训练数据并实现领域自适应。
BERT-kNN 在开放域问答中有什么优势？
BERT-kNN 结合了 BERT 与传统信息检索和大型文本嵌入数据存储的 kNN 搜索，提高了开放域问答的召回率。在填空问答任务上，它比 BERT 表现更优，尤其擅长处理罕见事实和未在 BERT 训练集中出现的事实。
如何利用 kNN 校准框架改进上下文学习？
基于最近邻校准框架的预训练语言模型上下文学习方法获得了显著改进，在某些情感分析任务中达到了与基于调优的方法相当的性能。
Skill-KNN 是什么，它解决了什么问题？
Skill-KNN 是一种基于技能的少样本选择方法，通过优化输入生成技能表示法，解决了现有基于预训练嵌入模型的表面自然语言特征易受干扰的问题。在四个跨领域语义分析任务和四个骨架模型中，其表现明显优于现有方法。
Fair-KGNN 如何减轻知识图谱中的偏见？
Fair-KGNN 是一个知识图谱神经网络框架，可以同时减轻知识图谱中个体偏见和关系偏见的影响，从而实现表示学习的公平性和预测性能。
对比学习结合 kNN 如何提升模型的鲁棒性？
利用监督动量对比学习框架和 KNN 分类器结合 fine-tuning 的方法，学习聚类表示来提高预训练模型的鲁棒性和稳定性。测试结果表明，该方法可显著提高文本分类任务中的准确度和对抗性鲁棒性。
