datasframe
·
在 Azure 上的国家水模型
原文英文，约400词，阅读约需2分钟。
📝
内容提要
作者在CIROH培训和开发者会议上展示了一个Jupyter Book，用于处理国家水模型数据。作者使用了JupyterHub和Kubernetes来运行工作坊，并使用dask-kubernetes的新Dask Operator来创建Dask集群。作者分享了将数据处理为云优化格式的代码，但由于没有操作管道来保持数据最新，云优化版本将被删除。作者认为需要采取措施使这些数据在云端更易于使用。
🎯
关键要点
-
作者在CIROH培训和开发者会议上展示了一个Jupyter Book，用于处理国家水模型数据。
-
使用JupyterHub和Kubernetes运行工作坊，利用dask-kubernetes的新Dask Operator创建Dask集群。
-
创建了云优化格式的数据版本，但由于缺乏操作管道，云优化版本将被删除。
-
作者认为需要采取措施使数据在云端更易于使用。
-
会议的主要收获是需要使数据在云端更可用，可能需要某种Kerchunk索引。
-
处理原始文件到云优化格式的管道仍然是一个挑战，数据本身的复杂性是主要原因。
-
遇到文件损坏和国家水模型内部结构变化的问题，这些问题难以调试。
-
维护操作管道是一个挑战，但希望未来能够解决。
🏷️
