Databricks发布Unity Catalog Dataset(UCDataset)Beta版,这是一个原生PyTorch数据加载器,可将Unity Catalog表直接流式传输到训练任务的各GPU,无需导出或复制数据。在模拟生产测试中,读取300GB特征表训练推荐模型,训练时间比读取Parquet副本缩短10倍。它自动将数据均匀分片到各GPU,支持列选择和行过滤,并遵循Unity Catalog权限。目前仅支持Delta表,不支持行过滤或列掩码的表。
完成下面两步后,将自动完成登录并继续当前操作。