如何用Python和依赖图检测公共数据集中的隐藏目标泄漏
内容提要
公共数据常由其他数据计算而来，若将目标列的上游或下游列作为特征，会造成目标泄漏，使模型看似高分实则只是复现官方公式。本文以CDC社会脆弱性指数为例，用其五个输入列预测主题排名，R²达0.998。作者借鉴包管理器依赖检查思路，用YAML清单记录数据派生关系，并编写Python工具遍历依赖图，拒绝位于目标派生路径上的特征，同时接入CI自动检查。
延伸解读
依赖图方法的核心优势
文章将包管理器的依赖检查思路迁移到数据特征选择上，通过YAML清单记录数据派生关系，并用Python遍历依赖图来拒绝位于目标派生路径上的特征。这种方法能自动识别直接或间接的泄漏，比人工核对列名更可靠，尤其适合跨机构、多层级的公共数据。
实际应用中的关键检查点
工具会检查三类问题：特征是目标的祖先（经典泄漏）、特征是目标的后代（反向泄漏）、以及两个特征共享祖先（信息重叠）。前两类报错，第三类警告。此外，工具还会验证清单的完整性，如未定义名称、循环依赖和重复键，确保检查本身不会静默失败。
CI集成与退出码设计
通过GitHub Actions，每次推送或拉取请求都会自动运行检查。退出码0表示通过、审查或未追踪，1表示发现泄漏，2表示清单或命令错误。这种区分让CI能准确响应：泄漏需要修改特征，而清单错误需要修复文件。
局限性与改进方向
当前清单仅覆盖60个产品，而全球官方复合指数估计超过400个，且部分边仍标记为推断。作者建议数据生产机构在公共数据模式中增加derivesFrom和measurementBasis字段，从源头记录派生关系，这比事后构建清单更根本。
Q&A
什么是目标泄漏？为什么在公共数据集中特别容易发生？
目标泄漏是指模型的输入特征中已经包含了目标变量的答案信息，导致模型看似高分实则只是复现了官方计算公式。公共数据集中特别容易发生，因为大量公共数据是由其他公共数据计算而来的，例如政府指数可能由调查列构建，第二个指数又由第一个指数构建，而数据目录很少以计算机可检查的形式存储这些派生关系。
如何用Python和依赖图检测公共数据集中的隐藏目标泄漏？
核心方法是：用YAML清单记录数据派生关系（每个产品列出其父产品和关系类型），然后编写Python工具遍历依赖图，拒绝任何位于目标派生路径上的特征（即目标的祖先或后代），并接入CI自动检查。工具使用广度优先搜索找祖先、深度优先搜索找路径，并检查清单中的未定义名称和循环。
在CDC社会脆弱性指数（SVI）的例子中，目标泄漏是如何被演示的？
文章使用CDC的SVI数据，用五个ACS输入列（EP_POV150、EP_UNEMP、EP_HBURD、EP_NOHSDP、EP_UNINSUR）预测主题排名RPL_THEME1，R²达到0.998，因为模型完美复现了CDC的计算公式。而用EP_NOINT（宽带订阅率）预测总体排名RPL_THEMES时，R²仅为0.384，因为该列虽在同一文件中但未被CDC用于计算指数。
依赖清单（manifest）中的关系类型和置信度有哪些？
关系类型有五种：component（数学成分）、modelled_from（统计模型输入）、identity（重命名发布）、poststratified_on（人口权重）、denominator（分母）。置信度有三种：certain（公式已发布或输入输出同文件）、documented（机构方法文档中说明）、inferred（文档强烈暗示，视为暂定）。每个产品还有measurementBasis字段，记录是measured（直接测量）、modelled（模型产生）还是composite（固定算术计算）。
如何让泄漏检查工具在CI中自动运行？
使用GitHub Actions工作流，在每次push和pull request时运行。工作流安装Python和pyyaml，然后运行mini_lint.py，指定目标变量和从features.txt读取的协变量列表。退出码0表示检查通过（PASS/REVIEW/UNTRACED），CI显示绿色；退出码1表示发现泄漏，CI显示红色；退出码2表示清单损坏或命令格式错误，CI也显示红色。
构建依赖清单时容易犯哪些错误？如何避免？
常见错误包括：将同一文件中但未参与计算的列误认为安全（如SVI中的EP_NOINT），以及将实际参与计算的列误认为旁观者（如七个种族/族裔列，它们精确求和等于EP_MINRTY，而EP_MINRTY是Theme 3的输入，Theme 3又输入总体指数）。避免方法是先阅读方法论文档，再在数据中测试关系，并使用coPublishedNonInputs字段记录同文件但非输入的列。
