自动机器学习和表格深度学习在数据稀缺分类任务中的评价
内容提要
本文研究了多层感知机（MLP）在表格数据集上的优化，利用13种正则化技术显著提升性能。同时探讨了大型语言模型在小样本学习中的应用，提出了FealtLLM框架以生成高质量特征，提高预测准确性。此外，AutoGluon-Tabular框架通过组合模型实现高效训练，表现优于其他AutoML工具。研究表明，传统机器学习在某些任务上仍优于深度学习方法。
延伸解读
正则化对MLP性能的关键作用
文章指出，在40个表格数据集上，使用13种正则化技术优化多层感知机（MLP）后，其性能可明显优于最新的神经网络架构和传统机器学习方法。这表明，对于表格数据，MLP的潜力尚未被充分挖掘，而正则化是提升其表现的核心手段。读者在尝试深度学习模型时，不应忽视正则化策略的精心设计。
FealtLLM：利用大模型生成特征的小样本学习
FealtLLM框架将大型语言模型作为特征工程师，生成适合表格预测的优化输入数据集，推断阶段仅需简单下游模型（如线性回归）。相比TabLLM和STUNT，FealtLLM平均性能提升10%，且无需每个样本都查询大模型，仅需API访问，克服了提示大小限制。这为小样本表格分类提供了高效的新思路。
AutoGluon-Tabular：组合模型优于单一最优模型
AutoGluon-Tabular通过组合多个模型并堆叠，而非仅寻找最佳模型，更有效地利用训练时间。在50个分类和回归任务上，它比TPOT、H2O等AutoML工具更快、更稳定、更准确，甚至在Kaggle比赛中仅用4小时训练就胜过99%的参赛者。这提示从业者，集成与堆叠策略在AutoML中具有显著优势。
传统机器学习在表格数据上仍具竞争力
文章通过实证比较发现，在5个实际数据集上，传统机器学习方法在有监督学习任务上仍优于11种深度学习方法，提示相关研究可能停滞。此外，神经网络在表格数据上与决策树竞争力相当，而基于Transformer的架构并未超过简化MLP。因此，在实际应用中，不应盲目追求深度学习，而应权衡传统方法的有效性。
Q&A
多层感知机（MLP）如何优化其性能？
通过利用13种正则化技术，MLP在40个表格数据集上的性能得到了显著提升。
FealtLLM框架的主要功能是什么？
FealtLLM框架利用大型语言模型生成高质量特征，以提高小样本学习的预测准确性。
AutoGluon-Tabular框架的优势是什么？
AutoGluon-Tabular通过组合多个模型实现高效训练，表现优于其他AutoML工具。
传统机器学习方法在表格数据任务中的表现如何？
研究表明，传统机器学习方法在某些任务上仍优于深度学习方法。
如何利用大型语言模型进行小样本学习？
通过FealtLLM框架，利用大型语言模型生成优化输入数据集，从而实现高性能的小样本学习。
在表格数据上，深度学习方法的最新进展是什么？
本文探讨了数据变换、特殊网络架构、正则化模型和数据生成等方面的最新进展。
