机器学习周志华笔记
内容提要
文章介绍对数几率回归、线性判别分析与决策树。对数几率回归用sigmoid将线性输出转为概率，以最大似然估计参数，等价于最小化凸损失，可用梯度下降或牛顿法求解。线性判别分析将样本投影使类内近、类间远，最大化广义瑞利商，解为类内散度矩阵逆乘均值差。决策树以信息增益、增益率或基尼指数选择划分属性，并涉及剪枝、连续值二分及缺失值加权处理。
延伸解读
对数几率回归：从概率到凸优化
文章指出对数几率回归用sigmoid将线性输出转为概率，并通过最大似然估计参数，等价于最小化一个高阶可导连续凸函数。这意味着优化时不会陷入局部最优，梯度下降或牛顿法均可求解。理解sigmoid导数σ(z)(1-σ(z))有助于手动推导梯度，而牛顿法利用二阶信息可能收敛更快，但需计算海森矩阵。
LDA的投影思想与求解关键
线性判别分析的核心是寻找投影方向，使类内散度矩阵Sω的二次型尽量小、类间散度矩阵Sb的二次型尽量大，从而最大化广义瑞利商。由于目标与ω长度无关，可固定分母为1转化为约束优化，最终解为ω=Sω^{-1}(μ0-μ1)。实践中Sω可能奇异，文章提到用奇异值分解求逆，这是实现时需注意的数值细节。
决策树划分准则的偏好与修正
信息增益倾向于选择取值数目多的属性，极端如编号属性会使每个分支纯度最高但无泛化意义。增益率通过除以固有值IV(a)来惩罚这种偏好，但IV(a)本身也受取值数目影响。CART使用基尼指数，其物理意义是随机抽两个样本类别不同的概率。选择准则时需结合数据特点，避免因属性取值分布导致划分偏差。
连续值与缺失值的处理策略
对于连续属性，决策树采用二分法：将n个不同取值排序，取相邻均值为候选划分点，从中选最优。与离散属性不同，连续属性可在后代节点重复使用。缺失值处理则通过样本权重实现：选择属性时用无缺失样本加权计算增益，划分时将缺失样本以不同权重同时划入所有子节点，权重为各分支样本占比。这使模型能利用不完整数据。
Q&A
对数几率回归为什么叫“回归”而不是“逻辑回归”？
因为它实际上是用线性回归模型的预测结果去逼近真实标记的对数几率（logit），即 ln(y/(1-y)) = ω^T x + b，所以得名对数几率回归（logistic regression），这里的“logistic”并非“逻辑”的意思。
对数几率回归的参数估计方法是什么？
通过最大似然法估计参数，最大化对数似然等价于最小化一个关于参数的高阶可导连续凸函数，可用梯度下降法或牛顿法求解最优解。
线性判别分析（LDA）的核心思想是什么？
将样例投影到一条直线上，使得同类样例的投影点尽可能接近、异类尽可能远离，即最大化广义瑞利商 J = (ω^T S_b ω) / (ω^T S_w ω)，其中 S_b 和 S_w 分别为类间散度矩阵和类内散度矩阵。
LDA的最优投影方向如何求解？
在约束 ω^T S_w ω = 1 下最大化 ω^T S_b ω，用拉格朗日乘子法得到 S_b ω = λ S_w ω，由于 S_b ω 方向恒为 μ0 - μ1，可得 ω = S_w^{-1} (μ0 - μ1)。实践中常通过奇异值分解求逆。
决策树划分属性时，信息增益、增益率和基尼指数分别有什么特点？
信息增益准则对可取值数目较多的属性有偏好；增益率用固有值 IV(a) 进行惩罚，缓解该偏好；基尼指数（用于CART）反映随机抽取两个样本类别不同的概率，值越小纯度越高。
决策树如何处理连续属性和缺失值？
连续属性采用二分法，将相邻取值的中点为候选划分点，选取最优划分点；缺失值处理时，为样本赋权重，计算无缺失值样本的比例 ρ、类别占比 p_k 和取值占比 r_v，并调整信息增益为 ρ 倍，划分时将缺失样本以不同权重同时划入所有子节点。
