文章介绍对数几率回归、线性判别分析与决策树。对数几率回归用sigmoid将线性输出转为概率，以最大似然估计参数，等价于最小化凸损失，可用梯度下降或牛顿法求解。线性判别分析将样本投影使类内近、类间远，最大化广义瑞利商，解为类内散度矩阵逆乘均值差。决策树以信息增益、增益率或基尼指数选择划分属性，并涉及剪枝、连续值二分及缺失值加权处理。