为什么研发数据应置于湖仓一体中——以及为何代理需要它
内容提要
cellcentric公司历时四年，在Azure和Databricks上构建了基于Unity Catalog和Lakehouse Federation的数据中心，整合SAP、MES等系统，形成治理化的AI上下文层。该平台提供数据产品、MCP服务器和统一身份权限，支持人类和代理安全访问数据，并通过追踪和评估确保质量，加速了研发流程。
延伸解读
数据产品与AI就绪的关联
文章强调，数据产品不仅是数据集成，更关键的是附带的上下文。通过Unity Catalog管理表、列、血缘和权限，再叠加数据产品层，提供业务问题、表关系、注意事项等丰富上下文。这种结构使AI代理能理解数据含义，而不仅仅是模式元数据。上下文覆盖率成为新的数据质量指标，通过徽章展示，促使工程师在开发过程中完善文档，使文档成为工程流程的一部分，为后续人类或代理提供结构化上下文。
统一身份与权限控制
cellcentric的架构确保身份从Azure AD经OAuth 2.0令牌交换流入Databricks，用户和代理都通过同一权限边界访问数据。代理以用户身份调用工具，但无法获得生产写权限或绕过Unity Catalog。如果用户无权访问某表，代理同样受限。这种设计避免了为AI创建宽松的旁路，使代理访问既安全又可治理，是平台成功的关键。
可观测性与持续评估
通过Unity AI Gateway和MLflow追踪，所有模型调用和代理交互都被记录为结构化轨迹，便于分析。在此基础上，运行持续评估框架，包括确定性正确性、SQL接地、成本及LLM评判等评分器。这不仅测试代理变更，还评估上下文层本身，如文档是否与管道漂移、提示词演变等。这种闭环确保代理、工具和上下文在影响生产前得到验证。
开发流程中的代理协作
工程工作流中引入代理，在开发数据产品时，代理可检查元数据、阅读文档、辅助搭建管道和文档。关键是在上下文最丰富时介入，使文档在开发过程中生成，而非事后补写。这显著缩短了从调查请求到可用数据产品的时间，从数周降至数天，并减少了人工交接。累积效应是每个产品都增加已审查的业务上下文，使后续调查更快。
Q&A
cellcentric 为什么将研发数据放在湖仓一体架构中？
因为工业AI需要治理化的上下文，包括数据来源、含义、权限、追踪和反馈，而湖仓一体（如Databricks）提供了统一治理的基础，使得代理和人类都能安全地访问和推理研发数据。
cellcentric 的 Data Hub 是什么？它如何支持人类和代理访问数据？
Data Hub 是 cellcentric 构建的治理化上下文层，提供数据产品平台和统一入口。人类用户通过市场和工作台界面访问，代理则通过 MCP 服务器访问，两者都基于 Unity Catalog 的权限控制，确保安全。
Fuel Cell Passport 数据产品整合了哪些系统？它解决了什么问题？
Fuel Cell Passport 整合了 SAP S/4HANA、两个 MES 系统、实验室数据库和 IoT 遥测平台，共五个企业源系统。它建模了七个层级，支持时间点配置和返工历史查询，帮助工程、质量和制造调查。
cellcentric 如何确保数据产品具有足够的上下文信息？
通过将上下文覆盖率作为一等质量指标，并在数据产品市场中显示上下文覆盖率徽章，促使工程师在开发过程中编写表描述和列注释。目前发布的产品平均列注释覆盖率达90%，并包含详细的 markdown 目录条目。
cellcentric 如何保证代理访问数据时的权限安全？
通过身份从 Azure AD 流向 Databricks，使用 OAuth 2.0 令牌交换，代理以用户身份调用工具，Unity Catalog 做最终授权。如果用户无权限，代理也无法访问，从而避免绕过治理。
cellcentric 如何监控和评估 AI 代理的性能？
使用 Unity AI Gateway 路由模型调用，记录请求和响应到 Delta 表，并通过 MLflow 追踪标准化代理交互。同时运行持续评估框架，包括确定性正确性、SQL 接地、成本感知和 LLM 评判评分器，以测试代理、工具和上下文。
cellcentric 的工程工作流如何集成 AI 代理？
工程师在 AI 辅助开发环境中工作，代理可以检查 Unity Catalog 元数据、读取产品文档、帮助搭建管道和生成文档。工程师负责审查和合并，但代理在上下文最丰富时参与，从而加速开发。
cellcentric 计划如何进一步扩展代理的能力？
计划让代理感知操作上下文，如数据质量检查和机器报警日志，并在回答中携带注意事项。同时构建技能市场，将流程知识打包为可版本化、可审查的技能，供代理按批准的方式执行重复任务。
