OmniPred：语言模型作为通用回归器
内容提要
该文汇总多项研究：提出通用表格预测模型UniPredict，在少样本学习中表现优异；用回归模型预测NLP实验分数；构建GLUE-X基准评估模型OOD鲁棒性；发现去偏见方法收益有限；提出批次遗憾评估大语言模型；研究自回归预训练与线性回归泛化；提出情感保留降维框架；并指出大语言模型受任务概率影响，低概率场景下准确性明显下降。
延伸解读
通用表格预测的进展与局限
UniPredict 作为通用表格数据预测模型，在广泛数据集上表现优越，并能通过少样本学习快速适应新任务。这为开发基于数据规模学习的通用预测系统提供了新思路。但文章未提及该模型在具体任务上的性能对比或计算成本，读者需注意其实际部署可能面临的资源约束。
大语言模型的概率敏感性风险
研究指出，大语言模型的准确性受任务概率影响：当执行任务、目标输出或输入的概率较高时，准确性更高；概率较低时，即使确定性环境下准确性也会明显下降。例如 GPT-4 解码简单密码时，高概率输出准确率 51%，低概率时仅 13%。这提示从业者在低概率场景下需谨慎使用大语言模型。
OOD 鲁棒性评估与去偏见挑战
GLUE-X 基准用于评估 NLP 模型的 OOD 鲁棒性，发现模型在 OOD 任务上性能明显下降。同时，去偏见方法在问答任务中的 OOD 收益有限，不能通过减少对偏见特征的依赖来解释，表明 QA 数据集中存在共享偏见。这提醒我们，提升模型鲁棒性仍需进一步工作。
Q&A
UniPredict是什么？它有什么特点？
UniPredict是一种通用表格数据预测模型，利用生成模型和大型语言模型，在广泛数据集上展示优越性能，并在少样本学习中快速适应新任务。
GLUE-X基准是用来做什么的？
GLUE-X是一个统一基准，用于评估自然语言处理模型在分布外（OOD）任务上的鲁棒性，在13个公开OOD测试数据集上验收模型，发现模型在OOD任务上性能明显下降。
大语言模型的准确性受哪些概率因素影响？
大语言模型的准确性受三个概率因素影响：执行任务的概率、目标输出的概率和提供的输入的概率。当这些概率较高时，准确性更高；概率较低时，准确性下降。
去偏见方法在问答任务中的效果如何？
研究发现去偏见方法的OOD收益不能通过减少对偏见特征的依赖来解释，OOD模型性能表明其依赖于偏见特征，说明QA数据集中存在共享偏见，需要进一步工作提高LLM鲁棒性报告水平。
线性回归在参数多于样本时还能有好的泛化性能吗？
是的，通过通用学习角度重新审视线性回归，证明在训练数据的相关矩阵特征向量构成的子空间上，即使参数个数M多于样本个数N，线性回归也可以具有很好的推广性能。
情感保留降维框架是什么？它有什么应用？
情感保留降维框架是一种处理文本数据的简单框架，通过多项式逆回归简化多项式分布数据以获取伴随情感信息的文档低维表示，并采用独立拉普拉斯先验的极大后验概率估算技术，应用于情感分析等领域。
