提升预训练语言模型在表格预测任务中的性能
内容提要
该文综述表格数据与语言模型结合的研究，涵盖PTab、TransTab、CT-BERT等预训练框架在表格语义解析与分类中的应用，TABBIE通过损坏单元格检测优化表格预测，Tabula探索表格合成并压缩训练时间，并指出大模型在表格预测中会继承社会偏见。
延伸解读
表格预训练模型的技术路线差异
文章梳理了多种表格预训练框架，其技术路线各有侧重。PTab通过多阶段处理将预训练模型用于表格数据；TransTab将表格行转换为嵌入向量，支持部分重叠列的迁移；CT-BERT引入对比学习与表格建模目标；TABBIE则专注于损坏单元格检测，仅从表格数据学习，并提供单元格、行、列的嵌入。这些差异反映了对表格结构建模的不同思路。
表格合成中的效率与基础模型选择
Tabula作为表格数据合成器，揭示了直接使用自然语言预训练模型在表格合成上的局限。其提出的令牌序列压缩策略能显著减少训练时间，同时保持合成数据质量。实验还表明，不加载预训练权重反而能获得更好的起始模型，而先前针对其他表格数据训练的Tabula模型可作为新任务的良好基础，这为表格合成专用基础模型的研发提供了参考。
公平性风险与偏见缓解
文章指出，大型语言模型在表格预测任务中往往会继承社会偏见，这从根源上影响其公平性。实验发现，通过标签反转等方法可以显著减少这些偏见。这一发现提醒研究者和应用者在利用大模型进行表格预测时，需关注潜在的偏见问题，并采取相应措施进行缓解。
通用表格预测的探索
UniPredict利用生成模型和大型语言模型，提出了一种通用表格数据预测模型，在广泛数据集上展示出优越性能，并能在少样本学习中快速适应新任务。这为开发基于数据规模学习、适用于各种预测任务的通用表格预测系统提供了新思路，但文章未详细说明其具体架构和适用边界。
Q&A
PTab框架是如何将预训练语言模型应用于表格数据建模的？
PTab通过引入预训练语言模型（PTM）和三个处理阶段（MT、MF、CF），将预训练模型用于建模表格数据，并在分类任务上取得了比现有技术更好的效果。
TransTab方法如何处理多个表格的机器学习预测？
TransTab将表格中的每个样本（行）转换为可推广的嵌入向量，然后应用堆叠的变压器进行特征编码，从而学习来自多个表格的机器学习模型。该方法支持在训练和测试期间使用多个具有部分重叠列的表格进行预测。
CT-BERT框架在表格数据预训练中有什么创新？
CT-BERT针对表格数据的交叉表预训练，引入了对比学习和表格建模的目标，通过广泛的实证结果证明其在监督和自监督设置下显著优于之前的方法。
TABBIE模型通过什么预训练目标提升表格预测性能？
TABBIE采用了一种简单的预训练目标——损坏单元格检测，仅从表格数据中学习，在一套基于表格的预测任务上达到了最先进的水平，超过了竞争方法。该模型还提供了所有表子结构（单元格、行和列）的嵌入，且计算时间更少。
Tabula在表格数据合成中如何减少训练时间？
Tabula提出了一种令牌序列压缩策略，可显著减少训练时间同时保持合成数据的质量。实验表明，Tabula相较于当前基于LLMs的最先进算法，平均每个时期减少46.2%的训练时间，并始终获得更高的合成数据效用。
大型语言模型在表格预测任务中存在什么公平性问题？
大型语言模型在表格预测任务中往往会继承社会偏见，这从根源上影响了它们的公平性。通过标签反转等方法可以显著减少这些偏见。
