公共数据常由其他数据计算而来,若将目标列的上游或下游列作为特征,会造成目标泄漏,使模型看似高分实则只是复现官方公式。本文以CDC社会脆弱性指数为例,用其五个输入列预测主题排名,R²达0.998。作者借鉴包管理器依赖检查思路,用YAML清单记录数据派生关系,并编写Python工具遍历依赖图,拒绝位于目标派生路径上的特征,同时接入CI自动检查。
完成下面两步后,将自动完成登录并继续当前操作。