AI Runtime 正式全面可用
内容提要
Databricks宣布AI Runtime（AIR）正式可用，将全托管GPU基础设施引入其数据平台，使企业能在数据所在处训练大模型。AIR简化GPU配置与运维，支持秒级启动、多节点分布式训练，并原生集成Lakeflow与MLflow，便于调试和监控。它通过Unity Catalog统一治理数据访问，提供虚拟机级隔离和私有网络，并支持GPU成本追踪。Robinhood、Merck等数百家公司已用其训练和部署深度学习模型。
延伸解读
从独立GPU栈到数据平台内训练
文章指出，将GPU基础设施与Lakehouse分开运行会造成治理缺口和敏感训练数据风险。AIR把GPU、开发工具和数据治理整合到Databricks平台内，让团队在数据所在处训练模型。这回应了AI团队常把时间花在申请GPU容量、管理故障和等待实验启动上的痛点，尤其当编码智能体推动更多并行训练实验时，可靠且受治理的基础设施变得关键。
秒级启动与分布式训练调试体验
AIR优化了供给栈，使数十块GPU的RDMA集群也能秒级启动，并支持预构建环境或自带容器，兼容Ray等主流框架。调试方面，MLflow新增可观测性体验，提交后几秒内即可流式查看日志，使用--watch参数即可监控，还提供面向多节点训练的日志查看器。这些设计针对分布式训练配置繁琐、跨栈调试困难的常见问题。
治理与安全：虚拟机级隔离和统一权限
AIR通过Unity Catalog对数据访问、检查点、日志等GPU工作负载的各个环节执行一致的读写权限，使GPU平台与数据治理层使用同一套语言。安全上，AIR提供虚拟机级隔离，而非暴露主机内核的GPU隔离机制，并支持PrivateLink和服务端出站控制。文章提及OpenAI Huggingface事件以强调风险，并称AIR相比传统系统提供更强保护。
成本可见性与客户实践信号
AIR的GPU使用和成本可通过Databricks计费系统表追踪，工作负载级记录能帮助识别哪些训练任务消耗GPU预算，指导后续运行决策。文章列举Robinhood、Merck、Flo Health、FactSet等数百家公司已用AIR训练和部署深度学习模型，覆盖医疗、制造和消费级智能体等场景。Superhuman案例称从8块A100单节点迁移到16块H100多节点后，训练时间从约7天缩短至48小时。
Q&A
Databricks AI Runtime 是什么？它主要解决什么问题？
Databricks AI Runtime（AIR）是 Databricks 宣布正式全面可用的全托管 GPU 基础设施服务，将 GPU 基础设施直接引入 Databricks 数据平台，使企业能在数据所在处训练大模型。它主要解决 AI 团队在独立管理 GPU 基础设施时面临的安全获取 GPU 容量、管理故障、等待实验启动等瓶颈，以及由此带来的治理缺口和敏感训练数据风险。
使用 Databricks AI Runtime 训练模型有哪些效率提升？
AIR 优化了配置堆栈的每一层，使工作负载（包括数十个 GPU 的大型 RDMA 集群）能在几秒内启动。用户可以通过 CLI 或 Notebook/IDE 交互式访问 GPU，首个工作负载只需一条 CLI 命令。此外，AIR 提供预构建环境或自带容器，并利用环境缓存避免重复构建。实际案例中，Superhuman 将训练从单节点 8 块 A100 迁移到多节点 16 块 H100，训练时间从约 7 天缩短到 48 小时，提速 3.5 倍。
AI Runtime 如何保障数据治理和安全性？
AIR 通过 Unity Catalog 将可信数据控制与治理扩展到每个 GPU 工作负载，对数据访问、检查点、日志等所有方面强制执行一致的读写权限。它提供虚拟机级隔离（而非暴露主机内核的 GPU 隔离机制），支持 PrivateLink 和服务器端出站控制，从而为训练工作负载提供比传统系统更强的保护。
AI Runtime 如何帮助调试分布式训练和监控 GPU 成本？
AIR 在 MLflow 中构建了全新的可观测性体验，调试日志只需在 AIR 命令中添加 --watch 即可流式查看，还提供专为多节点训练定制的日志查看器。此外，内置的 Genie Code 提供代理技能帮助调试和优化 GPU 训练性能。成本方面，可通过 Databricks 计费系统表跟踪 AIR 使用量和成本，利用工作负载级使用记录识别哪些训练工作负载消耗 GPU 预算。
哪些公司已经在使用 AI Runtime？有哪些典型用例？
数百家公司已使用 AIR 训练和部署深度学习模型，包括 Robinhood、PicPay、Merck、Flo Health、TinyFish、FactSet 等，用例涵盖医疗保健、制造业和面向消费者的代理。Databricks 自己的 AI 研究团队也使用 AIR 训练 KARL 和 AI Parse 背后的模型。例如，Robinhood 用其无缝微调模型；FactSet 用其训练自定义 Text To Formula 模型，将设置、训练和部署时间从数天缩短到数小时。
AI Runtime 如何与现有数据管道和框架集成？
AIR 原生集成 Lakeflow，使 GPU 工作负载与上下游管道保持同步，迁移到生产只需添加几行 YAML，并内置优先级/抢占机制以最小化 GPU 空闲时间。它兼容所有主流框架（包括 Ray），用户可凭最小配置迁移代码。此外，AIR 与 MLflow 集成用于实验跟踪和评估，并通过 Unity Catalog 统一治理。
