通过选择性推断进行数据分析管道的统计检验
原文中文，约1300字，阅读约需4分钟。
📝
内容提要
本文提出了一种通用框架，用于强大的连续假设检验，适用于多种非参数测试问题。该框架能够在线监控数据流，控制类型 I 错误，并根据未知难度调整样本大小。实证结果表明，该框架在多个任务上与专门基准测试具有竞争力。
🔎
延伸解读
框架的通用性
该框架能统一处理双样本测试、独立性测试和条件独立性测试等经典非参数问题，还适用于机器学习模型的对抗鲁棒性测试等现代问题。这种通用性意味着不同领域的假设检验任务可以共享同一套方法论，减少为每个任务单独设计测试的需要。
相对于传统批量测试的优势
传统批量测试通常需要预先确定样本量，且在多轮测试中需进行多重测试校正。该框架能持续监控在线数据流，有效聚合证据，严格控制类型I错误而无需校正，并根据问题难度自动调整样本量，更适合数据流场景。
方法基础与实证表现
框架基于测试通过投票（testing-by-betting）的博弈论方法，并利用机器学习模型的表示能力来设计连续测试。在合成和真实数据集上的实验表明，其性能与针对特定任务设计的基准测试相当，验证了通用框架的竞争力。
❓
Q&A
这个框架适用于哪些类型的统计检验？
该框架适用于双样本测试、独立性测试和条件独立性测试等经典任务，以及机器学习模型的对抗鲁棒性测试。
该框架如何控制类型 I 错误？
该框架在不需要多重测试校正的情况下，严格控制类型 I 错误。
框架的样本大小调整机制是怎样的？
框架根据问题的未知难度调整样本大小要求。
该框架在实证测试中表现如何？
实证结果表明，该框架在多个任务上与专门基准测试具有竞争力。
框架的持续监控功能有什么优势？
框架能够持续监控在线数据流并有效聚合针对零假设的证据。
如何利用机器学习模型增强该框架的能力？
框架利用机器学习模型的表示能力，开发了一种基于原则的方法，用于设计连续测试的博弈论方法。
🏷️
