Notes on An Introduction to Statistical Learning with Applications in Python
内容提要
本文系统梳理统计学习核心概念，包括预测与推断的区别、参数与非参数方法、偏差-方差权衡及过拟合。介绍线性回归、逻辑回归、LDA/QDA、朴素贝叶斯、泊松回归等模型，以及交叉验证、岭回归、Lasso、样条、GAM、决策树、随机森林、Boosting、SVM等方法，强调模型灵活性与可解释性的权衡。
延伸解读
从预测到推断：目标决定方法选择
文章开篇区分预测与推断：预测只关心准确度，模型可以是黑箱；推断则关心变量与结果的关联。这一区分贯穿全文，例如线性回归的系数检验服务于推断，而随机森林、SVM 更偏向预测。读者在选择模型前应先明确目标，否则容易在可解释性与灵活性之间迷失方向。
偏差-方差权衡是贯穿全书的主线
文章多次用偏差-方差权衡解释方法设计：KNN 的 K 值、岭回归与 Lasso 的惩罚、朴素贝叶斯的独立假设、随机森林的变量限制、Boosting 的收缩参数，本质上都是在偏差与方差之间取舍。理解这条主线，比孤立记忆各个模型公式更有助于判断何时该增加灵活性、何时该加强约束。
生成式与判别式分类器的假设差异
LDA、QDA、朴素贝叶斯属于生成式方法，先对类内分布建模再经贝叶斯定理转换；逻辑回归直接建模条件概率。文章指出 LDA 假设各类共享协方差且正态，QDA 允许各类协方差不同，朴素贝叶斯则假设变量独立。假设越强需要的数据越少，但假设不符时偏差会增大，这为选择分类器提供了依据。
高维与样本量：局部方法的失效边界
文章以 KNN 为例说明高维空间中数据稀疏、有效样本量下降，局部方法会失效，而线性回归能自动忽略无用变量。这一观察提醒读者：当维度相对样本量较高时，应优先考虑带正则化的线性方法或降维方法，而非依赖近邻的局部平滑。样本量与维度的比例是判断方法适用性的重要参考。
Q&A
统计学习中预测和推断有什么区别？
预测只关心预测的准确度，不关心过程，模型可以是黑箱；推断关心为什么，理解变量与结果之间的关联性。
为什么训练误差低不代表模型好？
训练MSE不重要，重要的是测试MSE，它体现泛化能力。模型灵活性增加时，训练MSE会下降，但测试MSE不一定下降，可能过拟合。
偏差-方差权衡中的期望测试MSE由哪几部分组成？
期望测试MSE = 方差 + 偏差² + 不可约误差。改变模型灵活性会同时影响偏差和方差。
LDA和QDA的主要区别是什么？
LDA假设所有类别共享相同的协方差矩阵，决策边界是线性的；QDA假设每个类别有自己的协方差矩阵，决策边界是二次的。当训练样本少或方差是关键问题时用LDA；样本多或方差明显不同时用QDA。
岭回归和Lasso回归有什么区别？
岭回归最小化RSS + λ∑β_j²，会将系数收缩到接近0但不为0，包含所有变量；Lasso最小化RSS + λ∑|β_j|，当λ足够大时一些系数会等于0，得到稀疏模型，更容易解释。
随机森林相比Bagging有什么改进？
随机森林在Bagging的基础上，限制每次分裂只考虑一部分变量，大大降低了树之间的相关性。这样可以让树更多样，平均降方差效果更好。
支持向量机如何实现非线性分类？
SVM通过核函数将数据映射到高维空间，在新空间中线性可分。核函数衡量两个观测的相似度，只计算内积，避免显式升维的计算量。
