宣布 Unity Catalog Volumes 的全面可用性
内容提要
Unity Catalog Volumes现已在AWS、Azure和GCP上提供。它为数据和人工智能提供了统一的治理解决方案，允许团队对非表格数据进行目录、安全、管理和追踪。Volumes可用于创建涉及从各种文件类型加载数据的可扩展的人工智能和摄取应用程序。它支持不同的工具和库，简化对非结构化数据的访问，并为表格和非表格数据集提供统一的治理。Volumes还提供了跨人工智能应用程序的端到端血统，简化的开发者体验以及人工智能应用程序响应的流畅同步。
延伸解读
Volumes 如何统一非表格数据治理
Unity Catalog Volumes 将非表格数据（如非结构化、半结构化和结构化文件）纳入与表格数据相同的治理框架。每个 Volume 是云对象存储中的逻辑存储单元，支持通过多种工具（如 Spark API、REST API、Python 库）访问。这解决了以往非表格数据治理分散的问题，使团队能集中进行编目、安全控制和血缘追踪，尤其适合 AI 应用处理大量 PDF、图像等文件的场景。
GA 版本的关键增强与实用功能
GA 版本引入了多项实用功能：通过 Delta Sharing 共享 Volumes（公共预览），支持跨云、区域和账户安全共享非表格数据；文件管理操作可通过 CLI、REST API、SDK 和 SQL 连接器执行；支持 Scala 和 Python UDF 以及 Scala IO；作业文件到达触发器可监控 Volume 并自动触发管道；UI 升级支持从文件创建表、批量下载删除，最大文件大小从 2GB 提升至 5GB。这些改进降低了管理非表格数据的复杂度。
对 AI 应用开发的实际影响
Volumes 为 AI 应用（如 RAG）提供了端到端血缘追踪，从知识库文件到模型服务端点均可追溯，便于审计和根因分析。内置 FUSE 支持让不兼容云存储 API 的 AI 库能像本地文件一样操作 Volume 中的文件。结合作业文件到达触发器或 Auto Loader，可自动同步新文件，确保 AI 应用响应基于最新数据，避免重复处理。这简化了开发体验，加速了 AI 应用迭代。
使用 Volumes 的注意事项与入门建议
虽然 Volumes 简化了非表格数据管理，但用户需注意：Volume Sharing 仍处于公共预览阶段；文件上传下载有 5GB 大小限制；访问外部 Volume 可使用云存储 URI 或 Databricks 路径。入门时，建议参考官方分步指南创建第一个 Volume，利用 Catalog Explorer 探索内容，并查阅最佳实践以优化使用。对于已有代码，可通过云存储 URI 平滑迁移，减少改造成本。
Q&A
Unity Catalog Volumes 是什么？它有什么作用？
Unity Catalog Volumes 是 Unity Catalog 中的一种对象，用于治理和管理非表格数据。每个 Volume 是 Unity Catalog 中的目录和文件集合，作为云对象存储位置中的逻辑存储单元。它允许团队对非表格数据进行编目、保护、管理、共享和追踪血缘，支持结构化、半结构化和非结构化数据。
Unity Catalog Volumes 现在在哪些云平台上可用？
Unity Catalog Volumes 现已在 AWS、Azure 和 GCP 上全面可用（Generally Available）。
Volumes 如何帮助构建 AI 应用程序？
Volumes 为 AI 应用程序提供统一治理，将表格和非表格数据统一在 Unity Catalog 下；提供端到端血缘追踪，从知识库到模型服务端点；通过 FUSE 支持简化开发者体验，使 AI 库能像本地文件一样访问 Volume 中的文件；并通过作业文件到达触发器等特性确保 AI 应用响应与源数据同步。
Volumes 支持哪些工具和库来访问文件？
Volumes 支持多种工具和库，包括 Databricks 工作区 UI、Spark API、Databricks 文件系统实用程序 (dbutils.fs)、REST API、语言原生文件库（如 Python 的 os 模块）、SQL 连接器、Databricks CLI、Databricks SDK、Terraform 等。
GA 版本的 Volumes 有哪些新特性？
GA 版本的新特性包括：通过 Delta Sharing 和 Databricks Marketplace 进行 Volume 共享（公共预览）；使用 CLI、Files REST API（公共预览）、SDK 和 SQL 连接器进行文件管理操作；Scala 和 Python UDF 以及 Scala IO 支持；作业文件到达触发器支持；使用云存储 URI 访问文件；集群库、作业依赖和初始化脚本支持 Volumes；发现标签；Volumes UI 增强，最大文件大小从 2GB 增加到 5GB。
如何使用 Volumes 进行数据摄入？
可以使用 Volumes 加载半结构化（如 JSON、CSV）或结构化（如 Parquet）数据。支持使用 Auto Loader、Delta Live Tables (DLT)、COPY INTO 或 CTAS 命令等工具将数据加载到表中。还可以通过作业文件到达触发器或 Auto Loader 文件检测在新文件添加到 Volume 时自动更新表。
如何开始使用 Unity Catalog Volumes？
可以参考全面的分步指南快速了解 Volume 的关键特性。查阅文档获取创建第一个 Volume 的详细说明。创建 Volume 后，可以使用 Catalog Explorer 探索内容，使用 SQL 语法进行 Volume 管理，或与其他协作者共享 Volume。还建议查看最佳实践以充分利用 Volumes。
