内容提要
表格基础模型(TFM)是在海量合成数据集上预训练的Transformer模型,无需针对具体任务训练即可对新表格数据做出预测,大幅缩短建模周期。文章介绍其原理、架构演进(如TabPFN、TabICL)及主流模型在规模与许可上的差异,并说明Databricks AI Runtime提供托管GPU,支持TFM的推理、微调与治理,助力企业落地应用。
延伸解读
TFM 的推理成本与内存瓶颈
文章指出,TFM 虽免去训练流程,但推理时需将整个训练集作为上下文传入模型,导致 GPU 显存占用随行数和特征数增长,企业级数据规模下容易耗尽显存。因此,TFM 的单次预测成本高于在 CPU 上运行的传统 XGBoost 模型。企业评估时需权衡加速上市时间与性能提升同持续 GPU 推理成本之间的关系。
架构演进:从全注意力到行压缩
TabPFNv2 首次在基础模型规模上实现行、列顺序注意力,但密集注意力计算成本随样本和特征数快速上升。TabICLv1 改用行压缩方法,用专用编码器将每行表示为四个 token,大幅降低跨样本注意力成本,同时保持有竞争力的预测性能。该架构已被 TabPFNv3、TabFM 和 KumoTabular 等模型采用或扩展。
选型需关注许可与规模差异
文章对比了主流 TFM 的发布规模与权重许可:TabICLv2 约 28M 参数、BSD 3-Clause 许可,可商用;TabFM 约 400M 参数、非商业许可;TabPFNv3.5 约 220M 参数、需与创建者协议方可商用;Mitra v2 和 KumoTabular 则采用 Apache-2.0 和 OpenMDW-1.1 等可商用许可。企业部署前应结合参数规模与许可条款筛选。
合成数据质量决定零样本表现
TFM 主要在合成数据上预训练,其开箱即用的成功取决于创建者能否生成准确反映真实数据分布与关系的合成数据。为构建稳健模型,需模拟缺失值、异常值和未观测特征等常见企业数据质量问题。文章建议企业直接用自有数据评估 TFM,因为专有工作负载往往与合成数据或标准基准差异很大。
Q&A
表格基础模型(TFM)是什么?它和传统机器学习建模方式有什么不同?
TFM 是专门针对表格数据预训练的 Transformer 模型,在海量合成数据集上预训练后,无需针对具体任务训练即可对新表格数据做出预测。传统方式需要为每个预测任务开发、训练和维护模型,而 TFM 基本消除了定制训练和重训练管道的开销。
TFM 是如何在不训练的情况下对新数据做预测的?
预测时,带标签的行作为上下文与待预测行一起传入模型,Transformer 的注意力机制将每个新行与这些示例关联,通过一次前向传播完成预测,这一过程称为上下文学习(ICL)。此外,TFM 也可以在特定数据集上微调预训练权重以进一步提升精度。
TFM 怎么处理表格中数值、类别、布尔等混合类型的数据?
TFM 使用专门的 tokenizer 将数值、类别和布尔特征映射到统一的共享潜在向量空间,使注意力机制能够同时处理不同特征类型之间的复杂交互。
TabPFN 和 TabICL 在架构上有什么演进和区别?
TabPFNv2 首次在基础模型规模上实现行内和列内顺序注意力,但密集注意力计算成本随样本和特征数快速增长,扩展性受限。TabICLv1 采用行压缩方法,用专门编码器将每行表示为仅四个 token,使跨样本注意力更便宜,同时保持有竞争力的预测性能;该架构已被 TabPFNv3、TabFM、KumoTabular 等模型采用和扩展。
选择企业级 TFM 时需要考虑哪些实际因素?
需要重点考虑规模和许可两个部署因素。例如 TabICLv2(约28M参数,BSD 3-Clause)、Mitra v2(约77M,Apache-2.0)、KumoTabular(约215M,OpenMDW-1.1)商业许可较宽松;TabFM(约400M)和 TabPFNv3.5(约220M)的许可非商业性,需与模型创建者达成协议。此外还应评估运营成本:TFM 省去定制训练管道,但 GPU 推理每次预测成本高于 CPU 上的传统 XGBoost。
为什么 TFM 推荐使用 GPU?企业自建 GPU 基础设施有哪些难点?
TFM 基于 Transformer 架构,依赖密集矩阵乘法,GPU 执行效率远高于 CPU;且上下文学习每次预测都要传入整个训练集,GPU 显存随行数和特征数增长,企业级数据规模下容易耗尽。这带来三个问题:需要高性能 GPU、基础设施管理复杂、以及数据与 GPU 工具分离造成孤岛。
Databricks AI Runtime 如何支持 TFM 的落地应用?
Databricks AI Runtime 提供完全托管的无服务器 GPU 基础设施,让 TFM 工作负载直接在数据所在处运行,无需将数据移入外部 GPU 工具。它支持零样本推理和微调,并通过 Unity Catalog 进行治理和模型生命周期管理,避免数据孤岛,可将实验平滑过渡到受治理的生产级批处理管道或实时推理端点。