Databricks推出Domains和Discover页面的公开预览,由Unity Catalog驱动,旨在解决数据和AI资产查找难、质量参差的问题。Domains按业务结构组织资产,Discover提供内部市场界面,帮助用户和AI代理找到可信、相关的数据,减少错误使用,并增强代理的业务上下文理解。
Unity Catalog现已进入公共预览阶段,支持外部引擎访问管理的Delta表。企业可以在统一治理下灵活使用多种引擎,享受性能优化和成本节约。通过开放API,外部引擎如Starburst和DuckDB可直接与Unity Catalog集成,实现数据的创建、读取和写入。这提升了数据治理和跨引擎的互操作性,确保了数据访问的安全性和一致性。
Phases 1-3 built the storage primitives — vectors, row groups, column segments, and compression. But there’s no concept of a “table” yet. There’s no way to define a schema (CREATE TABLE), no way...
Shopify推出了名为Catalog的新系统,利用大型语言模型(LLMs)组织商家产品数据,帮助AI购物助手识别和比较产品。该系统通过将相关产品归类,解决了不同商家对同一产品的不同列表问题,以便更好地与AI代理互动。
By Celina AmadosAt Netflix, our catalog metadata is crucial to our member experience, and a single corrupted data state can impact millions of viewers immediately. To protect streaming...
Unity Catalog在数据和AI治理方面推出了Unity AI Gateway,提供全面的治理解决方案,确保AI代理的行为受控、具备上下文和选择权。新功能包括角色基础访问控制、Glossary和Domains,帮助定义业务概念和组织数据。Unity Catalog支持跨云和区域的统一治理,提升数据安全性和灵活性,推动企业在AI时代的决策能力。
Unity Catalog 是一个全面的 Apache Iceberg 目录,具备开放 API、目录联合和跨引擎访问控制等功能。它支持多种引擎,确保数据治理和优化,帮助企业实现安全共享和高效管理,满足 AI 应用需求。同时,Unity Catalog 提供自动优化,提升查询性能,推动 Iceberg 和 Delta 的统一发展。
Phase 1 gave us pages and heap files (raw byte storage on disk). Phase 2 gave us schemas and serialization (typed values to/from bytes). But these two layers don’t know about each other — you’d...
本文介绍了 OpenClaw.NET 的 compat/public-smoke.json 文件,该文件是兼容性验证的核心清单,管理已知插件和技能的预期行为。它支持自动化烟雾测试,并提供 CLI 和 REST API 查询,以确保插件和技能的兼容性。文件结构包括版本号和条目数组,条目分为通用字段、技能专用字段和插件专用字段。文中还详细说明了如何添加新条目、贡献流程及故障排查方法。
Databricks支持将OpenTelemetry追踪直接写入Unity Catalog,简化数据存储和分析。通过实时摄取追踪数据,团队能够更好地理解AI代理的行为,进行评估和监控。Zerobus Ingest作为无服务器的摄取引擎,支持标准OTel协议,简化传统遥测管道。追踪数据可用于SQL分析和仪表板,帮助团队优化代理性能并实现持续改进。
本文介绍了 OpenClaw.NET 的 compat/public-smoke.json 文件,该文件记录插件和技能的兼容状态,包含版本号、条目数组及其分类,支持多种插件类型。OpenClaw CLI 提供查询和过滤功能,便于用户获取兼容性信息。清单通过自动化测试进行更新和验证,以确保插件的有效性和兼容性。
本文讨论了AI治理的关键要素,强调数据治理的重要性。通过Unity Catalog和Unity AI Gateway,企业可以统一管理AI代理、模型和数据,确保安全性和合规性。有效的AI治理能够提升企业竞争力,减少风险。
文章讨论了如何通过Unity Catalog和Unity AI Gateway管理MCP工具,以防止代理AI的潜在风险。新功能实现了对每个MCP工具的细粒度访问控制和审计跟踪,确保只有授权用户可以执行特定操作,并记录所有调用。这种实时政策执行和负载日志记录有效防止错误操作并提供透明度。
Unity Catalog旨在打破数据孤岛,集中管理和访问数据。通过开放API,用户可使用任意计算引擎,降低数据冗余和成本。UC管理的Delta表支持外部引擎的创建和写入,提供集中治理和自动优化。企业可通过短期凭证安全访问数据,确保治理和一致性。
Unity Catalog推出了三项新功能,提升敏感数据的治理和保护,包括基于属性的访问控制(ABAC)、受管标签和自动数据分类。这些功能能够动态应用访问规则,简化权限管理,确保数据安全,帮助组织更有效地管理数据访问,降低操作成本,提升合规性。
Catalog Commits是Delta表的新标准,旨在统一数据湖的管理与访问,解决多引擎和多表协调的挑战,增强数据治理,支持跨表事务,提升数据湖的性能与开放性。Databricks上的UC管理表已全面支持Catalog Commits。
DuckDB Labs recently released DuckLake 1.0, a data lake format that stores table metadata in a SQL database rather than across many files in object storage. The first implementation is available...
Databricks与Google Cloud深化合作,实现Unity Catalog与BigQuery的互操作性,用户可无数据复制地访问Unity Catalog管理的表,支持跨平台统一治理。新功能包括通过Google Cloud Lakehouse访问Iceberg表,提升数据管理效率,推动开放数据生态系统的发展。
Databricks推出Unity Catalog Business Semantics,提供统一的业务语义基础,确保数据和AI平台中的指标定义一致性。该平台支持开放源代码,允许用户在不同工具中无缝集成和使用业务语义,提升数据分析的效率和准确性。通过Metric Views,用户可以在SQL中集中定义和管理业务指标,确保所有用户和AI代理获得相同结果,推动数据驱动决策。
Databricks推出了新的Discover体验,旨在简化数据发现过程。该功能集成在Unity Catalog中,允许用户在一个地方找到可信的数据和分析资产。通过域的设置,数据按业务单位组织,结合AI推荐和人类策划,帮助用户快速识别高价值资产,提升数据治理效率。目前该功能在AWS、Azure和GCP的Beta版本中可用。
完成下面两步后,将自动完成登录并继续当前操作。