BriefGPT - AI 论文速递
·
使用大型语言模型生成真实的表格数据
内容提要
本文探讨了大型语言模型（LLMs）在表格数据生成中的应用，提出了Tabula框架，展示了其在合成数据生成中的优势。研究表明，LLMs在处理分类不平衡和提高合成数据质量方面表现优越，尤其在小样本情况下。通过优化特征生成和决策树推理，Tabula显著提升了模型性能，减少了训练时间，解决了医疗领域数据稀缺问题。
关键要点
-
通过将表格数据序列化为自然语言字符串，使用大型语言模型（LLMs）进行零样本和小样本分类数据的研究，发现其在多个基准数据集上优于以前的深度学习分类方法。
-
提出Tabula框架，揭示了使用预训练语言模型在表格数据合成中的局限性，并研发了专用基础模型以改善合成数据生成。
-
Tabula通过令牌序列压缩策略显著减少训练时间，同时保持合成数据的质量，结果显示平均每个时期减少46.2%的训练时间。
-
利用LLMs生成合成数据解决分类不平衡问题，采用新颖的分组提示方法，验证了在真实公共数据集上的优越性能。
-
提出优化列特征生成器与决策树推理（OCTree）框架，通过LLMs的推理能力改进特征生成规则，提升预测模型性能。
-
在医疗领域，生成合成数据可以解决数据稀缺问题，提出的新框架显著提高了小样本情况下生成合成表格数据的质量。
-
通过微调Llama 3-8B大型语言模型，TabuLa-8B在未见过的表格上实现了超过随机猜测15个百分点的零样本准确率，且在少样本情况下表现优于XGBoost和TabPFN模型。
延伸问答
大型语言模型在表格数据生成中的应用有哪些优势？
大型语言模型在处理分类不平衡和提高合成数据质量方面表现优越，尤其在小样本情况下。
什么是Tabula框架，它解决了哪些问题？
Tabula框架通过优化特征生成和决策树推理，显著提升了模型性能，减少了训练时间，解决了医疗领域数据稀缺问题。
如何通过大型语言模型解决分类不平衡问题？
利用大型语言模型生成合成数据，采用新颖的分组提示方法，生成满足目标数据集要求的数据，从而解决分类不平衡问题。
Tabula框架如何减少训练时间？
Tabula通过令牌序列压缩策略显著减少训练时间，结果显示平均每个时期减少46.2%的训练时间。
在医疗领域，合成数据生成的意义是什么？
生成合成数据可以解决医疗领域数据稀缺问题，提供高质量的数据用于后续任务，同时保护真实数据的隐私。
TabuLa-8B模型的表现如何？
TabuLa-8B在未见过的表格上实现了超过随机猜测15个百分点的零样本准确率，并在少样本情况下表现优于XGBoost和TabPFN模型。
