决策树是一种基于树形结构的分类模型，通过对数据属性的逐步划分，将数据集分成多个小的决策单元。决策树的优点是易于理解和解释，能够处理不同类型的数据，但容易出现过拟合问题。决策树回归模型在回归任务中使用，叶子节点表示一段连续区间或一个数值，预测过程通过匹配特征的划分方式逐步进行。决策树回归模型的特点包括易于解释、非参数性、可处理多元特征和不需要数据正态化。