数据涅槃：AI 赋能的深度加工与价值重塑
内容提要
文章介绍一套受控的数据研发系统：Forge Agent 作为统一 AI 入口，负责需求理解与流程组织；Sindri Plugin/MCP 提供确定性工具；Sindri 后端负责语义解析、执行计划生成与提交；ADF 承载 DAG、调度与生命周期。系统通过 DSL、校验、预览确认和血缘监控，让 AI 辅助而非接管生产，提升数据研发的复用性与可信度。
延伸解读
AI 辅助而非接管：受控链路的设计逻辑
文章强调 AI 进入生产不等于接管生产。系统通过 Forge Agent 组织流程、Sindri Plugin/MCP 提供确定性工具、Sindri 后端负责规划与提交、ADF 承载执行，形成受控链路。模型只负责需求理解和流程组织，生产操作由平台接口、权限规则和执行结果约束，从而在提升效率的同时保留规划、调度、权限和审计的确定性。
DSL 与两阶段提交：提升准确性的工程手段
领域 DSL 用稳定语义描述数据对象、转换算子和输出目标，不关注具体引擎。Sindri Plugin 通过场景路由、需求契约、模板选择和逐级校验，将 DSL 准确性转化为可检查、可回退的流程。提交采用两阶段门禁：先生成预览，用户明确确认后才真实提交，避免误操作。
质量与自愈：先证据后自动化
数据质量系统纵向贯穿全链路，包括数据核对、质量规则、血缘追踪和监控大盘。文章指出自愈闭环不应一开始就追求全自动，而应先打通规划、提交和运行证据，再让自动化在有证据支撑的范围内逐步扩大。真正的自愈还需稳定状态机、幂等机制、风险分级和人工接管。
Q&A
Forge Agent 在数据研发系统中扮演什么角色？
Forge Agent 是统一 AI 门面，负责需求澄清、任务拆解、Skill 路由、工具选择、结果解释与人工交接，组织数据研发全过程。
Sindri 后端的主要功能是什么？
Sindri 后端负责解析领域语义、绑定平台对象、生成执行计划、构建请求并提交执行，是核心链路规划与提交的环节。
ADF 在系统中承担哪些任务？
ADF 作为通用执行与管控底座，接收领域后端物化后的任务请求，组织 DAG 节点和依赖，管理调度、运行、发布及状态回查，并承载 Spark、Flink、Shell、JDOS 等任务形态。
如何提高 DSL 生成的准确性？
Sindri Plugin 将开发流程拆成场景路由、需求契约、模板选择和逐级校验，通过“单场景路由—需求契约—标准示例—SDK 事实—本地校验—后端规划—人工确认”链路，将 DSL 准确性转化为可检查、可回退的工程流程。
数据质量系统包含哪些核心能力？
数据质量系统由四类能力构成：数据核对（全量与抽样校验、差异归因）、数据质量（规则校验、完整性与一致性检查、阈值告警）、血缘追踪（字段级血缘、影响分析与溯源定位）、监控大盘（链路健康、SLA 与时效、异常观测）。
为什么自愈闭环应该先建立证据再扩大自动化？
因为自愈闭环不应一开始就以全自动为目标，而应先把规划证据、提交证据和运行证据打通，让自动化在有证据支撑的范围内逐步扩大。证据链越完整，可以安全交给自动化的动作就越多。
