本文探讨了预训练语言模型在表格数据建模中的应用，提出了PTab、CT-BERT、TabFMs和TP-BERTa等新框架，并展示了它们在分类、合成和预测任务中的优越性能。研究表明，这些模型在处理表格数据时，尤其在零样本和少样本场景下表现出色，同时指出了现有技术的局限性和未来研究方向。

表格预训练研究综述：TabBIE通过损坏单元格检测学习表格数据，提供单元格、行、列嵌入；SAINT用注意力机制结合行列信息，在有限标签下媲美XGBoost等；TUTA以二维坐标树结构统一预训练，提升表格与单元格分类；CT-BERT引入对比学习实现跨表预训练；TransTab将样本转为嵌入向量，支持多表部分重叠列学习。