表格数据的语言建模：基础、技术与发展综述
内容提要
本文探讨了预训练语言模型在表格数据建模中的应用，提出了PTab、CT-BERT、TabFMs和TP-BERTa等新框架，并展示了它们在分类、合成和预测任务中的优越性能。研究表明，这些模型在处理表格数据时，尤其在零样本和少样本场景下表现出色，同时指出了现有技术的局限性和未来研究方向。
延伸解读
预训练语言模型在表格任务中的优势场景
文章指出，预训练语言模型在表格数据建模中，尤其在零样本和少样本场景下表现突出。例如，TabFMs在零样本和上下文推理任务中甚至超越了GPT-4，而TabuLa-8B在未见表格上的零样本准确率超过随机猜测15个百分点以上。这表明，当标注数据有限时，这类模型能提供有效的预测能力，为实际应用提供了新思路。
与传统方法的对比与定位
尽管预训练模型在多项任务中取得进展，但文章强调它们不应取代传统方法。TP-BERTa在表格预测中与梯度提升决策树模型具备竞争力，而TabuLa-8B在少样本情况下比XGBoost和TabPFN更准确。然而，研究也指出需评估数据表示和整理方式对预测性能的影响，暗示传统方法在特定场景下仍具价值，两者可能互补而非替代。
表格数据合成中的效率优化
针对表格数据合成，文章介绍了Tabula模型，它揭示了直接使用自然语言预训练模型的局限性，并提出令牌序列压缩策略，平均每个时期减少46.2%的训练时间，同时保持合成数据质量。此外，不加载预训练权重反而能获得更好的起始模型，而之前训练的Tabula模型可作为新任务的基础模型，这为高效合成表格数据提供了实用方案。
当前局限与未来研究方向
文章指出，现有技术仍存在局限性，例如TabFMs的局限性和潜在机会被探讨，以激发更强大的模型开发。综述部分归纳了优势、局限性和未开发领域，并提供了代码和数据集参考。未来研究需关注数据表示和整理方式对预测性能的影响，以及如何平衡预训练模型与传统方法，推动表格数据建模的进一步发展。
Q&A
PTab框架的主要特点是什么？
PTab框架通过引入预训练语言模型，专门用于表格数据建模，取得了比现有技术更好的分类效果。
CT-BERT与传统方法相比有什么优势？
CT-BERT结合了对比学习和表格建模目标，在监督和自监督设置下显著优于之前的方法。
Tabular Foundation Models (TabFMs)在零样本任务中的表现如何？
TabFMs在零样本和上下文推理任务中表现出色，甚至在某些情况下超越了GPT-4。
Tabula模型在表格数据合成中存在哪些局限性？
Tabula揭示了使用预训练语言模型在表格数据合成中的局限性，并提出了令牌序列压缩策略以减少训练时间。
TP-BERTa模型的主要应用是什么？
TP-BERTa是一种专门用于表格数据预测的预训练语言模型，表现卓越并与梯度提升决策树模型具备竞争力。
当前预训练模型在表格数据预测中有哪些不足？
当前的预训练模型不应取代传统方法，需评估数据表示和整理方式对预测性能的影响。
