登记你的森林：通过显式 CPU 寄存器分配的决策树集成优化
内容提要
本文提出了多种决策树集成算法，以提高模型的可解释性和效率。研究表明，固定点量化可加速机器学习模型，动态集成算法显著降低能耗并保持准确率。新型在线分类算法“Shrub Ensembles”在资源有限情况下表现优异。此外，灵活的决策树集成框架支持多任务学习，训练速度提高十倍，参数减少至20倍以下。
延伸解读
决策树集成的效率与可解释性权衡
文章指出，决策树集成虽能提升预测性能，但会降低可解释性。为此，研究者提出Born-Again树集成方法，通过动态规划生成在实际数据集上表现优异的树模型，在不牺牲分类器性能的前提下获得更高可解释性。这表明，可解释性与性能并非完全对立，通过特定算法设计可以兼顾。
资源受限场景下的集成优化
针对物联网设备能耗高的问题，文章提出一种动态集成算法，在保证准确率不降低的情况下显著降低能耗。同时，新型在线分类算法“Shrub Ensembles”使用随机近端梯度下降法训练小到中等大小的决策树，并在小窗口上处理数据以节省内存，在资源有限情况下表现优异。这些工作为边缘计算场景提供了实用方案。
多任务学习框架的紧凑与高效
文章提出一种灵活的决策树集成学习框架，支持任意损失函数、缺失响应和多任务学习，采用可微分训练和向量化实现。实验表明，该框架比流行工具包产生的集成更紧凑、表达力更强，训练速度提高十倍以上，参数个数降低到现有梯度增强树的20倍以下。这为多任务场景提供了高效替代方案。
Q&A
什么是Born-Again树集成方法？
Born-Again树集成方法通过动态规划算法生成高可解释性的树模型，旨在提高决策树集成的可解释性而不牺牲分类器性能。
固定点量化如何影响机器学习模型的性能？
固定点量化方法可以在几乎所有情况下提高机器学习模型的速度，同时对模型的预测性能影响可以忽略不计。
Shrub Ensembles算法的优势是什么？
Shrub Ensembles是一种新型在线分类算法，在资源有限的情况下表现优异，使用随机近端梯度下降法训练决策树，能够节省内存。
动态集成算法如何降低能耗？
动态集成算法通过优化决策树集成，显著降低物联网设备上的机器学习模型能耗，同时保持准确率。
灵活的决策树集成学习框架有什么特点？
该框架支持任意损失函数、缺失响应和多任务学习，训练速度提高十倍，参数减少至20倍以下，具有更强的表达力。
决策树集成的切割数如何随树的数量变化？
随着树的数量增加，决策树集成所需的切割数可能会指数级下降。
