使用 Transformer 学习决策树算法
内容提要
本文综述决策树与元学习研究：元学习可将黑盒模型训练为通用上下文学习算法，其瓶颈在于可访问状态而非参数量；Transformer元强化学习在Alchemy环境中优于无模型方法；动态规划搜索能高效构建最优决策树；演化算法、FreeGBDT、DNDT、TREE-G等方法提升了表格数据与图预测的性能及可解释性。
延伸解读
元学习瓶颈：状态而非参数
文章指出，将黑盒模型训练为通用上下文学习算法时，瓶颈在于可访问的状态大小，而非参数数量。这意味着即使模型参数很多，如果其内部状态受限，元学习效果也会受限。这一发现提示研究者在设计元学习算法时，应更关注如何扩展模型可访问的状态空间，而非单纯增加参数量。
动态规划构建最优决策树
文章介绍了一种基于动态规划和搜索的算法，能够高效构建最优决策树，并支持对树深度和节点数量的限制。实验表明，该算法能在很短时间内处理具有成千上万实例的数据集，显著提升了最优决策树的实用性。这为需要精确控制模型复杂度的场景提供了可行方案。
决策树与神经网络在表格数据上的对比
文章提到，神经网络在结构化表格数据上与决策树具有竞争力，但基于Transformer的架构并未超过简化版MLP。这一发现提醒实践者，在表格数据任务中，传统决策树和简单神经网络仍是可靠选择，不必盲目追求复杂模型。
可解释性与性能的平衡
文章涉及多种提升可解释性的方法，如DNDT具有自解释和自剪枝功能，TREE-G结合决策树与动态图特征并提供可解释机制。这些工作表明，在追求预测性能的同时，可以兼顾模型的可解释性，为需要理解模型决策的应用场景提供了更多选择。
Q&A
元学习训练黑盒模型成为通用上下文学习算法时，瓶颈是什么？
瓶颈不是参数数量，而是可以访问的状态大小。
在Alchemy环境中，基于Transformer的元强化学习方法相比无模型方法有什么优势？
基于Transformer的模型算法在符号Alchemy环境中展示出比先前基于模型无关的强化学习方法更好的性能，揭示了基于模型的方法在元学习探索和利用方面的相关性以及Transformer架构处理复杂动态的效率。
动态规划搜索构建最优决策树有什么优点？
支持对树的深度和节点数量设置限制，并且只需很短时间就能处理具有成千上万个实例的数据集，极大提高了最优决策树的实用性。
FreeGBDT方法如何提升自然语言推断任务的性能？
FreeGBDT采用梯度提升决策树作为分类器，可以在不增加神经网络计算量的情况下提高对特征的分类精度，对多个NLI数据集的RoBERTa-large基线模型都有稳定提升。
DNDT是什么？它有什么特点？
DNDT是Deep Neural Decision Trees，由神经网络实现的树模型，用于处理表格数据，具有自解释性和自剪枝功能。
TREE-G模型如何结合决策树和图特征进行预测？
TREE-G结合了决策树与动态图特征，不仅考虑预定义的数据特征，还结合顶点特征、图拓扑信息和树的累积信息进行预测任务，同时提供可解释性机制，在多个图和节点预测基准实验中表现出较高的性能和准确度。
