本文介绍了Tabular Foundation Models (TabFMs)，通过使用预训练的大型语言模型 (LLM) 并进行微调，实现了对表格数据的深刻理解和普适能力。TabFMs在指导性任务方面具有优势，并在某些情况下超越了闭源LLMs。同时，TabFM在有限数据下表现出了出色的效率和竞争性表现。文章还探讨了TabFM的局限性和潜在机会，旨在促进更强大的TabFMs的研究。

在语言模型的发展中，我们见证了规模的强大力量。Radford 等人在最初的 GPT 论文 中指出，模型在训练过程的某个时刻突然“习得”了对句子 X 进行情感分析的能力，能预测它更可能是“非常消极”或“非常积极”的后续内容。随着模型的训练，其零样本 (zero-shot) 性能出现了显著的“飞跃”。当然，如 Radford 等人所述，这需要一个“成本高昂的预训练步骤——在 8 个 GPU...