构建一个像资深分析师一样思考的AI数据分析师
内容提要
本文介绍如何用Python构建一个六阶段分析流程，避免AI直接回答“哪个促销更有效”时被小样本误导。流程包括业务理解、假设生成、SQL规划、验证（检查订单数是否达标）、执行摘要和建议。通过DuckDB和LLM API实现，示例中促销4虽平均销量最高但仅1单，验证阶段会拦截此类低置信度结果，确保结论可靠。
延伸解读
小样本陷阱：为什么AI会给出误导性结论
文章通过示例数据指出，仅凭平均销量排序，促销4看似最优，但其背后只有1个订单，置信度极低。这揭示了AI直接回答业务问题时可能忽略样本量，导致结论不可靠。资深分析师会先检查数据支撑，再下结论，这正是流程中验证阶段的价值所在。
验证阶段：用代码强制检查，而非依赖模型自觉
流程中的验证阶段是纯代码实现，通过设置最小订单数阈值（如3），自动标记低置信度分组。这种设计确保即使模型生成的SQL未包含样本量检查，也能在结果中强制加入n_orders列并判断。相比仅提示模型注意样本量，代码层面的硬性检查更可靠，能有效拦截基于少量数据的结论。
流程设计：从业务理解到建议的六阶段闭环
六阶段流程（业务理解、假设生成、SQL规划、验证、摘要、建议）模拟了资深分析师的思考路径。每个阶段都有明确输出，且后阶段依赖前阶段结果。这种结构化方法不仅提高结论可靠性，还便于追踪和审计，尤其适合数据量小或业务问题复杂的场景。
Q&A
如何用Python构建一个像资深分析师一样思考的AI数据分析师？
文章介绍了一个六阶段分析流程，包括业务理解、假设生成、SQL规划、验证、执行摘要和建议。通过Python实现，使用DuckDB和LLM API（如Anthropic或OpenAI），并设置最小支持度（如3个订单）来验证数据量，避免基于小样本的结论。
为什么AI直接回答“哪个促销更有效”可能会出错？
因为AI可能只看平均销量最高的促销，而不检查其背后的订单数。例如，促销4平均销量最高（8.00），但只有1个订单，样本量太小，结论不可靠。资深分析师会先验证数据量是否足够。
六阶段分析流程具体包括哪些步骤？
六阶段包括：1. 业务理解（重述问题、识别数据粒度、列出限制）；2. 假设生成（提出可测试的假设）；3. SQL规划（生成查询并包含订单数）；4. 验证（检查订单数是否达到最小支持度）；5. 执行摘要（基于验证结果写总结）；6. 建议（提出基于证据的建议）。
验证阶段如何防止低置信度结果？
验证阶段通过检查查询结果中的n_orders列，如果订单数小于设定的最小支持度（如3），则标记为low_confidence。这些行不会作为结论的依据，从而避免基于小样本的错误结论。
在示例中，促销4的平均销量最高，为什么没有被推荐？
因为促销4虽然平均销量最高（8.00），但只有1个订单，样本量太小，属于低置信度结果。验证阶段会拦截此类结果，确保结论基于足够的数据。
这个工具支持哪些LLM API？
支持Anthropic和OpenAI的API。通过LLMClient类封装，根据provider参数调用相应的API，例如Anthropic的Claude或OpenAI的GPT-4o。
如何确保SQL查询生成的代码是安全的？
文章没有直接讨论SQL注入等安全问题，但强调使用DuckDB在本地运行，且只使用现有列，不发明列。此外，查询由LLM生成，但通过验证阶段检查结果，确保数据可靠性。
这个分析流程适用于哪些数据集？
适用于任何表格数据，只要注册到DuckDB即可。示例使用online_orders.csv，但流程是通用的，可以应用于其他数据集。
