内容提要
Databricks推出Genie Migrate for Serverless(Beta),通过AI代理自动将经典集群上的作业和笔记本迁移至无服务器计算。代理先扫描并标记各工作负载的无服务器就绪度,再以可审阅的差异形式提出配置、代码和库的转换建议,经用户批准后应用,且可回退。支持通过Genie命令或CLI批量迁移,未来将加入沙箱运行时验证。
延伸解读
迁移流程:从手动试错到审阅批准
文章指出,以往迁移无服务器需手动处理集群配置映射、库解析、Spark配置适用性及访问模式等问题,依赖个人经验和反复试错。Genie Migrate将翻译工作转移到平台,用户只需判断是否迁移、变更是否合理、运行是否健康。代理先扫描并标记就绪度,再以可审阅差异提出配置、代码和库的转换建议,经批准后应用,且可回退。这降低了迁移门槛,但用户仍需承担最终判断责任。
当前限制:静态验证与外部源不支持
文章明确,当前验证是静态的,仅确认翻译合理而不实际运行工作负载,因此无法保证运行时正确性。代理对不确定的Spark配置会保留而非删除,避免静默移除依赖。此外,若工作负载源位于工作区外(如Databricks Asset Bundles管理的作业或Git文件夹中的笔记本),代理暂无法迁移。回退操作不会撤销无服务器运行期间写入生产表的数据,测试时需注意。
批量迁移与未来验证方向
对于大量作业,可通过Databricks CLI的compute-migrations命令组在后台批量迁移,无需打开Genie会话。原始作业在审阅批准前不变,批准后保留ID、调度和权限。批量迁移目前仅支持作业,笔记本支持即将推出,且要求CLI版本1.24.0以上。未来将加入沙箱运行时验证,在隔离环境中运行迁移后工作负载并与经典基线对比,在应用前提供运行时和正确性信号。
Q&A
Genie Migrate for Serverless 是什么?它主要解决什么问题?
Genie Migrate for Serverless 是 Databricks 推出的 AI 代理(Beta),用于将经典集群上的作业和笔记本自动迁移到无服务器计算。它解决了手动迁移时因配置、库、访问模式不兼容而导致的耗时问题,将迁移从研究项目转变为审查和批准步骤。
Genie Migrate 如何评估工作负载是否适合迁移到无服务器?
代理会扫描工作区中的作业和笔记本,为每个工作负载标记无服务器就绪度,帮助用户识别理想候选者,无需手动审计整个集群。
迁移过程中,代理会直接修改我的代码或配置吗?
不会。代理会以可审阅的差异形式提出配置、代码和库的转换建议,并展示更改前后的对比。只有用户批准后才会应用更改,且支持回退。
如果代理不确定某个 Spark 配置是否还需要,它会怎么处理?
代理会报告该配置而不是直接删除。因为静态扫描可能忽略运行时依赖,静默删除可能丢失遥测数据,所以代理将决定权留给用户。
如何批量迁移多个作业?有什么限制?
可以通过 Databricks CLI 的 compute-migrations 命令组在后台批量迁移多个作业。代理会为每个作业构建无服务器工作副本,原始作业在批准前不变,批准后保留作业 ID、调度和权限。目前批量迁移仅支持作业(笔记本即将支持),需要 CLI 版本 1.24.0 及以上。
迁移后的验证目前能做到什么程度?未来有什么计划?
目前验证是静态的,确认转换合理但不运行工作负载。未来将加入沙箱验证,在隔离环境中运行迁移后的工作负载并与经典基线对比输出,提供运行时和正确性信号。