决策树是一种分类与回归方法，以属性为结点、取值为分支。特征选择用信息熵衡量不确定性，信息增益表示划分前后熵的变化。ID3算法选择信息增益最大的属性递归建树；C4.5改进用信息增益率、剪枝、离散化及处理不完整数据；CART则用于回归与分类。