终止可微分树专家
内容提要
本文介绍了一种新型可变树机器架构，通过树形解释器将符号树操作编译为张量操作，从而提升结构转换任务的性能。同时，研究提出了基于递归Transformer的分层方法，扩展了双向语言模型的预训练目标，实验结果表明在语言建模和无监督解析中表现优异。
延伸解读
可微分树模型的研究脉络
文章梳理了可微分树模型的多条技术路线：从2017年的gcForest探索不可微分模块构建深度模型，到2018年DNDT用神经网络实现树模型，再到2020年将可微分决策树融入神经网络以提升训练效率。这些工作共同指向一个目标：在保留树结构可解释性的同时，利用梯度下降进行端到端训练。
DTM架构的核心思路
DTM通过可微分的树形解释器，将高级符号树操作编译为张量上的子符号矩阵操作，从而支持结构到结构转换任务。这种设计使得符号树操作能够融入神经网络训练流程，在保持树结构表达能力的同时，获得张量计算的高效性，为结构转换任务提供了新方案。
递归Transformer与双向语言模型
文章提出基于递归Transformer的分层方法，将双向语言模型预训练目标扩展至该架构，预测每个单词给定其左右抽象节点。实验表明，该方法在语言建模和无监督解析任务上均表现优异，说明递归结构有助于捕捉语言的层次化特征，为无监督解析提供了新思路。
不同方法的性能对比
文章提及多项对比结果：可微分决策树融入神经网络后，训练速度提升十倍以上，参数个数降至梯度增强树的二十分之一以下；可解释表示方法在100个回归问题上平均测试得分高于梯度提升；Transformer符号回归在SRBench上接近基因编程且推断快数个数量级。这些结果展示了不同方法在效率与精度上的权衡。
Q&A
什么是可微分树专家（DTM）架构？
可微分树专家（DTM）架构是一种新型的机器学习架构，通过树形解释器将符号树操作编译为张量操作，以提升结构转换任务的性能。
该研究提出了什么新的方法来扩展双向语言模型的预训练目标？
研究提出了一种基于递归Transformer的分层方法，旨在预测每个单词给定其左右抽象节点。
实验结果显示该方法在什么方面表现优异？
实验结果表明，该方法在语言建模和无监督解析方面表现优异。
可微分树专家架构如何提升结构转换任务的性能？
通过将符号树操作编译为张量操作，DTM架构实现了更高效的结构转换。
该研究的主要贡献是什么？
主要贡献是提出了一种新型的可变树机器架构和基于递归Transformer的分层方法，提升了结构转换任务的性能。
可微分树专家架构的应用场景有哪些？
可微分树专家架构适用于结构转换任务、语言建模和无监督解析等场景。
