BriefGPT - AI 论文速递
·
自助式交叉表格表示学习的扩展实验
💡
原文中文，约400字，阅读约需1分钟。
📝
内容提要
该文介绍了一种基于Transformer的表格表示学习模型，通过利用表格特定的分词器和共享的Transformer主干来进行交叉表格表示学习。该模型通过自我监督的掩码式单元恢复目标进行缺失值填充，并在不同规模的模型上进行训练和评估。
🎯
关键要点
- 介绍了一种基于Transformer的表格表示学习模型。
- 该模型利用表格特定的分词器和共享的Transformer主干进行交叉表格表示学习。
- 训练方法包括单表和交叉表格模型。
- 通过自我监督的掩码式单元恢复目标进行缺失值填充。
- 训练了不同规模的模型，参数范围从约10^4到10^7。
- 模型在包含来自76个不同数据集的135M个训练令牌的预训练数据集上进行训练。
- 使用线性推测在基准数据集上评估预训练模型，并与传统基准进行比较。
- 评估了架构在单表和交叉表格预训练设置中的扩展性。
🏷️
标签
➡️
