本文将介绍 AI-DLC（AI-Driven Development Life Cycle）——亚马逊云科技于 2025 年提出的一套开发方法论——在数据工程场景中的落地实践。我们将通过两个真实案例，展示 AI-DLC 如何在分层建模和数据质量管理这两个数据工程核心场景中发挥价值。

许多工程团队能够展示AI原型，但在实际生产中面临数据收集和解析的困难。研究显示，32%的组织在生产中使用自主AI，数据基础设施和质量是主要障碍。IT领导者指出，实时数据处理基础设施不足和相关技能短缺是AI应用的主要挑战。成功的组织重视数据工程，构建实时数据管道，以确保数据的可靠性和时效性。

DataOps将DevOps原则应用于数据管道，以加速交付和提高数据质量。通过自动化数据工作流和促进跨职能团队协作，DataOps持续改进数据质量，强调将数据视为产品，推动快速迭代和反馈，显著降低数据停机时间和运营成本。实施DataOps的组织报告数据停机事件减少高达99%。

Avanse金融服务公司通过迁移到Amazon SageMaker Unified Studio，整合了数据工程、分析和人工智能工作流，解决了与外部分析应用的五个主要问题。新架构直接查询Amazon S3中的数据，消除了数据同步瓶颈，降低了许可和存储成本，提高了报告生成效率，并加强了合规性和治理。

数据工程在人工智能中扮演着重要角色，涉及数据管道构建、特征工程和合规性。数据工程师需确保数据质量，以支持AI模型的训练与部署。AI驱动的自动化提高了数据处理效率，但也带来了数据质量和可扩展性挑战。生成式AI能够生成合成数据，帮助解决训练数据不足的问题。数据工程师需与数据科学家紧密合作，确保数据的可靠性和合规性，以推动AI项目的成功。

Databricks推出Lakeflow平台，整合数据工程、人工智能和应用，简化数据处理。新功能包括Genie Code和Lakeflow Designer，支持无代码构建ETL管道。Genie ZeroOps监控数据资产并自动修复问题。Lakeflow Connect扩展支持100多个连接器，简化数据摄取。Zerobus Ingest实现高吞吐量数据传输，降低延迟。Lakeflow Jobs优化数据管道调度，提升处理效率。

Octopus Energy通过重新架构数据管道，成功应对数据量增加48倍的挑战，降低了50倍的成本。新系统优化了数据处理流程，符合市场半小时结算（MHHS）要求，提升了结算和定价效率，同时增强了能源使用的智能化和可持续性。

数据工程正在从“平台驱动”向“AI驱动”的AIDLC范式转型。这一转型改变了控制面、开发模式和质量保障，强调知识资产和声明式开发。AI作为协作者参与整个开发生命周期，提高团队生产力。企业可通过成熟度模型和实施建议逐步实现这一转型，提升数据处理效率和质量。

数据工程师和数据科学家在数据处理中的角色不同。数据工程师负责构建和维护数据基础设施，确保数据的可靠流动和存储；数据科学家则分析数据，生成预测模型和商业洞察。两者需紧密合作，数据工程师提供清洁数据，数据科学家利用这些数据进行分析。随着对数据基础设施和AI支持的需求增加，这两个角色的就业前景乐观。

Genie Code 是一种数据工程工具，允许工程师通过自然语言生成数据管道，简化开发、调度和故障调试。它能将原本需要数周的任务缩短至数小时，并确保符合治理标准。未来将推出 AI 优化工作负载，进一步提升效率。

本文介绍了数据工程团队在从POC到POV转型中的挑战，以及如何通过DataOps和数据编排来构建下一代数据平台。企业应考虑数据工程和DataOps原则，以提高流程规范性和效率。

Tower是一家由前Snowflake工程师创立的初创公司，获得640万美元融资，旨在简化Python数据管道的部署与管理。该平台为中型企业和小型数据团队提供托管环境，使开发者无需管理底层基础设施即可在生产环境中运行数据应用，解决了传统数据基础设施的复杂性问题。

Databricks的无服务器计算通过自动优化和智能基础设施选择，提高了数据工程的效率和成本效益。新功能帮助团队节省时间和成本，简化基础设施管理，自动处理版本升级和资源配置，使用户能够专注于数据产品和业务价值。

Lakebridge帮助数据工程师简化遗留数据仓库迁移，提供自动化和可预测的流程。新功能包括全面评估、AI驱动的SQL转换和用户引导体验，减少不确定性，提高迁移效率，帮助团队更快、更准确地完成迁移。

数据工程师正在利用AI改善ETL流程，构建可靠的数据管道。Databricks Lakeflow提供统一平台，自动化数据处理，提升工作效率。通过AI功能，工程师能够快速处理非结构化数据，提取商业洞察，减少手动操作。该平台支持文档解析和数据查询，助力企业高效分析和决策。