逃过所有清洗流程的静默数据错误
内容提要
文章指出，常规数据清洗只能发现空值、重复行和类型错误，却漏掉四类“静默错误”：实体重复（写法不同但实为同一对象）、数值合法却不合理（如214岁客户）、时间戳泄漏（特征含未来信息）、幸存者偏差（分母已剔除失败样本）。这些错误会污染模型和报表。作者建议建立业务感知的校验层：规范化身份去重、按业务规则和同群分布检查数值、用严格时间不等式连接特征、在每个筛选步骤记录行数并预警。
延伸解读
语法、语义与语用：数据质量的三层缺口
文章借用语言学概念，将数据质量检查分为语法、语义和语用三层。语法检查关注格式是否合规，如非空、类型正确；语义检查关注值在业务上是否合理，如年龄是否超过120岁；语用检查则要求根据使用场景调整规则，例如制药公司研发与生产团队对同一记录的有效性标准可能不同。多数生产管道止步于语法层，因为Pandera、dbt测试等工具默认只做类型、空值和范围检查，而语义和语用检查需要业务知识，这正是静默错误滋生的空间。
实体重复：字节不同但指向同一对象
常规去重只比较行是否完全一致，但“John Smith, 123 Main St”和“J. Smith, 123 Main Street”写法不同，实为同一客户。这种实体重复会通过去重检查，却导致下游SUM或COUNT翻倍。文章举例说明，两个源系统将同一张表送入仓库且未在连接前去重，就会无意中产生UNION ALL的效果。修复需双向进行：对字符串进行规范化（小写、去标点、标准化地址），用相似度评分替代相等判断，并将中间结果路由到人工审核队列。
合法但不合理的值：类型正确不等于业务正确
一个值可能完全符合列的数据类型和声明范围，却对当前行毫无意义。例如214岁的客户能通过整数检查，负的交付数量能通过数值检查。文章中的SQL查询本身没有语法错误，但dim_employee表中一个错误薪资（零、负数或单位错误）就会扭曲平均值，悄无声息地改变结果集。修复需要在数据摄入时应用业务感知约束（如年龄0-120、订单数量大于0），并采用同群分布检查（如同级别同地点薪资分布），而非仅与0比较。
时间戳泄漏与幸存者偏差：隐藏在未来和分母中
时间戳泄漏指特征包含了预测时点之后的信息。文章以无时间戳的薪资表为例，用ROW_NUMBER()推断“当前”薪资，若用于重建历史预测，就会引入未来信息。修复需存储事件发生时间和行写入时间，并用严格的事件时间<=特征时间连接。幸存者偏差则是分母问题：被删除或停用的账户在查询前已消失，COUNT(*)只统计了幸存者。修复方法是在每个队列筛选步骤记录行数，当某一步骤丢弃大量样本时发出预警。
Q&A
常规数据清洗为什么发现不了静默数据错误？
常规清洗只检查语法层，如空值、重复行和类型错误，这些检查快速且通用，但一旦所有列通过检查就停止。静默错误涉及语义和语用层，需要理解业务含义，而通用库无法自动编写此类规则，因此这些错误能逃过清洗并污染下游模型和报表。
静默数据错误具体有哪几种类型？
文章指出四类静默错误：1) 实体重复：写法不同但实为同一对象；2) 数值合法却不合理：如214岁客户；3) 时间戳泄漏：特征包含未来信息；4) 幸存者偏差：分母已剔除失败样本。
实体重复错误是如何产生的，又该如何修复？
实体重复源于不同写法指向同一实体，如“John Smith”和“J. Smith”，字节级去重无法识别。修复需双向进行：规范化字符串（小写、去标点、标准化地址），用相似度评分替代相等测试，并将中间结果路由到审核队列。
什么是时间戳泄漏，如何避免？
时间戳泄漏指特征包含了预测时点之后的信息，例如用推断的“当前”薪资重建历史预测。避免方法是结构化存储事件发生时间和行写入时间，并使用严格的事件时间<=特征时间的不等式连接特征，而非简单的MAX()。
幸存者偏差在数据中如何体现，怎样检测？
幸存者偏差表现为分母只包含幸存样本，例如计算2024年购买客户时忽略了Q1流失的用户。检测方法是在每个队列筛选步骤记录行数，并标记出剔除大量样本的步骤，以便在信任结果前预警。
如何构建一个业务感知的数据校验层来捕获静默错误？
针对四类错误分别建立校验：对实体重复，做规范化身份唯一性检查及连接基数断言；对不合理数值，使用业务规则和同群分布检查；对时间戳泄漏，采用严格时间不等式连接；对幸存者偏差，在每个筛选步骤记录行数并预警。
