BriefGPT - AI 论文速递
·
自助式交叉表格表示学习的扩展实验
原文中文，约400字，阅读约需1分钟。
📝
内容提要
该文介绍了一种基于Transformer的表格表示学习模型，通过利用表格特定的分词器和共享的Transformer主干来进行交叉表格表示学习。该模型通过自我监督的掩码式单元恢复目标进行缺失值填充，并在不同规模的模型上进行训练和评估。
🎯
关键要点
-
介绍了一种基于Transformer的表格表示学习模型。
-
该模型利用表格特定的分词器和共享的Transformer主干进行交叉表格表示学习。
-
训练方法包括单表和交叉表格模型。
-
通过自我监督的掩码式单元恢复目标进行缺失值填充。
-
训练了不同规模的模型，参数范围从约10^4到10^7。
-
模型在包含来自76个不同数据集的135M个训练令牌的预训练数据集上进行训练。
-
使用线性推测在基准数据集上评估预训练模型，并与传统基准进行比较。
-
评估了架构在单表和交叉表格预训练设置中的扩展性。
🏷️
