非可交换的最近邻一致性语言生成
内容提要
综述符合预测研究进展，涵盖加权分位数抵御分布漂移、非交换符号风险控制框架应对变化点与时间序列、生成式语言模型公差预测、机器翻译不确定性评估与条件合规预测、联邦学习个性化预测集、top-p采样校准及局部一致性预测，兼顾覆盖率与鲁棒性。
延伸解读
非可交换数据下的预测挑战
文章指出，传统一致性预测依赖数据可交换性假设，但现实中的数据常因分布漂移、变化点或时间序列而不可交换。为此，研究者提出加权分位数、非交换符号风险控制等框架，通过为测试样本分配基于统计相似性的权重，使预测在非可交换场景下仍保持鲁棒性。这些方法在可交换时也能达到与现有方法相同的覆盖率保证。
生成式模型与机器翻译中的不确定性量化
针对生成式语言模型，文章介绍了一种公差预测方法，能精确预测结果并提供统计可靠性。在机器翻译中，研究发现多数方法低估不确定性，建议采用分布自由的合规预测法保证覆盖度，并利用条件合规预测技术为不同数据子组构建校准子集，实现覆盖率均衡。这些方法在多个语言对上优于基线，但需数据可交换性假设。
联邦学习与采样校准的实践进展
文章提到，在联邦学习的数据异质性下，新方法通过建立有效置信区间构建个性化预测集合，实验验证了其有效性。此外，针对top-p采样，研究使用一致性预测校准p参数，发现OPT模型存在过度自信，且校准与模型大小呈适度反比。这些工作表明，一致性预测能提升模型输出的可靠性和可解释性。
局部一致性预测的灵活性与保证
局部一致性预测仅利用新测试样本周围的局部区域构建置信区间，打破了数据互换性，赋予测试样本特殊角色。该方法推广了一致性预测，并证明了假设无关与有限样本覆盖保证。模拟实验比较了其与标准一致性预测的行为，为处理非可交换数据提供了新思路。
Q&A
什么是符合预测（Conformal Prediction）？
符合预测是一种无分布、非参数的预测方法，基于最少的假设，能够以简单的方式得出统计意义上的预测集。它通过使用过去的经验来确定新预测的置信水平，可应用于任何生成标签预测的方法。
符合预测如何处理数据不可交换的情况？
针对数据不可交换的情况，研究者提出了多种方法：一是引入加权分位数来抵御数据分布漂移，并设计随机化技术允许不对称处理数据点；二是提出非交换可行的符号风险控制框架，通过基于测试示例统计相似性的权重选择，控制任意单调损失函数的期望值，适用于变化点、时间序列等分布漂移场景。
符合预测在机器翻译不确定性评估中有什么应用？
符合预测可用于机器翻译的不确定性评估，通过生成具有保证覆盖率的预测区间，确保翻译的真实质量得分以1-ε的速率落在区间内。研究还提出了条件合规预测技术，为每个数据子组获得校准子集，实现覆盖率均衡。实验表明该方法在六种语言对上优于基线。
如何校准生成式语言模型的top-p采样？
可以使用符合预测方法对top-p采样中的p参数进行校准，以研究其在不同语言上下文环境下是否与概率意义对齐。结果表明OPT模型存在过度自信，而校准与模型大小存在适度的反比关系。
局部一致性预测是什么？
局部一致性预测是一种新方法，它仅使用新测试样本周围的局部区域来构建置信区间，将数据可交换性打破为测试样本赋予特殊角色，从而推广了一致性预测方法。该方法具有假设无关与有限样本覆盖保证，并在模拟中与一致性预测进行了比较。
符合预测在联邦学习中如何应用？
在联邦学习中，针对数据异质性问题，可以使用一种对数据不可交换性建立有效置信区间的新方法，构建个性化预测集合。实验验证了该方法在联邦学习数据异质性下的有效性。
