【量化交易】数据陷阱：幸存者偏差、复权、前视、未来函数
内容提要
回测中常见的偏差包括幸存者偏差、前视偏差和未来函数，这些偏差导致回测结果与实盘表现不符。幸存者偏差只考虑存活公司的数据，前视偏差使用未来信息进行决策，而未来函数在特征生成中引入未来数据，造成信息泄漏。为解决这些问题，需要建立严格的数据管理和回测流程，确保数据的准确性和可用性，避免策略失效。
关键要点
-
回测中常见的偏差包括幸存者偏差、前视偏差和未来函数，这些偏差导致回测结果与实盘表现不符。
-
幸存者偏差只考虑存活公司的数据，忽略了已经退市或消失的公司的影响。
-
前视偏差使用未来信息进行决策，导致模型在历史数据中引入了无法获取的信息。
-
未来函数在特征生成中引入未来数据，造成信息泄漏，影响策略的有效性。
-
为解决这些问题，需要建立严格的数据管理和回测流程，确保数据的准确性和可用性，避免策略失效。
延伸解读
幸存者偏差的影响
幸存者偏差在回测中常被忽视，尤其在A股市场，随着注册制的推进，退市公司数量逐渐增加。研究者需注意，回测样本若仅包含存活公司，可能导致策略表现被高估。应建立完整的标的数据库，确保回测时考虑到所有历史数据，包括已退市的公司。
前视偏差的识别与修正
前视偏差常因使用未来信息而导致回测结果失真。研究者应确保在特征生成时，使用的财务数据仅限于公告日之前的信息。通过建立PIT（Point-In-Time）数据库，可以有效避免此类偏差，确保回测的准确性。
未来函数的潜在风险
未来函数的使用可能在无意中引入未来数据，导致模型表现虚假。研究者在特征工程时应避免使用全样本统计量，建议采用滚动窗口方法来计算特征，以确保数据的时间因果性不被破坏。
复权陷阱的注意事项
复权在回测中至关重要，错误的复权方式可能导致收益率计算失真。研究者应明确使用后复权进行回测，以确保历史数据的一致性。同时，复权口径的标注也应清晰，以避免混淆。
延伸问答
什么是幸存者偏差，它如何影响回测结果？
幸存者偏差是指样本只包含存活公司的数据，忽略了已退市公司的影响，导致回测结果高估策略的有效性。
前视偏差是什么，它会带来什么问题？
前视偏差是指在决策时使用了未来的信息，导致模型在历史数据中引入无法获取的信息，从而影响策略的有效性。
未来函数是什么，如何避免它的影响？
未来函数是指在特征生成中使用了未来的数据，造成信息泄漏。避免的方法是确保特征只依赖于当前及过去的数据。
如何建立有效的数据管理和回测流程？
需要建立严格的数据管理流程，确保数据的准确性和可用性，并在回测中使用合适的标的池和复权方式。
复权陷阱是什么，如何处理？
复权陷阱是指因分红、配股等公司行为导致的价格不连续。处理方法是使用后复权价格进行回测，以确保收益计算的准确性。
数据窥视是什么，为什么要避免？
数据窥视是指研究员在回测中反复调整参数以获得最佳结果，可能导致过拟合。避免的方法是预注册假设和参数空间。
