KDnuggets
·
我们在同一数据集上调优了四种分类器：没有一个真正改善
💡
原文英文，约1200词，阅读约需5分钟。
📝
内容提要
对葡萄牙学生表现数据进行四种分类器的超参数调优实验表明，调优未显著提升模型性能，反而略有下降。这表明默认设置在许多情况下已足够有效，强调了在机器学习中了解何时停止调优的重要性。
🎯
关键要点
- 对葡萄牙学生表现数据进行四种分类器的超参数调优实验未显著提升模型性能，反而略有下降。
- 调优结果显示，默认设置在许多情况下已足够有效，强调了了解何时停止调优的重要性。
- 实验使用了649名学生的30个特征的数据集，目标是预测学生是否通过最终的葡萄牙成绩。
- 排除了G1和G2成绩以避免数据泄漏，确保预测成功的因素超越先前的表现。
- 选择了四种不同学习方法的分类器，并进行了严格的统计验证。
- 采用了嵌套交叉验证和适当的训练/测试分割，确保没有数据泄漏。
- 调优后，所有模型的平均性能下降了0.0005，且没有统计显著性差异。
- 调优失败的原因包括强大的默认参数、信号有限、小数据集规模和性能上限。
- 实验提供了重要的教训：方法论比指标更重要，统计验证是必不可少的，负面结果也具有重要价值。
- 默认超参数常常足够好，不必假设每个参数都需要调优。
➡️
