jdhao's blog
·
在Databricks Spark中更改时区
💡
原文英文，约500词，阅读约需2分钟。
📝
内容提要
介绍在Databricks集群中更改时区设置的方法，包括更改系统时区、在Spark会话中设置时区、在集群配置中添加时区设置、使用Databricks集群init脚本设置时区。需要注意使用ABFSS路径。
🎯
关键要点
-
Databricks集群默认使用UTC时区，运行时间相关代码时显示的时间不是本地时间。
-
可以通过timedatectl命令更改系统时区，示例：%sh timedatectl set-timezone Asia/Shanghai。
-
要为当前Spark会话设置时区，可以使用spark.conf.set('spark.sql.session.timeZone', 'Asia/Shanghai')。
-
spark.sql.session.timeZone的格式为区域ID或时区偏移量，建议使用区域ID。
-
在集群配置的高级选项中，可以添加spark.sql.session.timeZone配置以确保所有笔记本使用正确的时区。
-
在集群配置页面中，需进入编辑模式才能添加初始化脚本。
-
对于单用户访问模式的集群，存储在工作区的初始化脚本可能无法正常工作。
-
使用DBFS路径和ABFSS路径可以创建和更新初始化脚本，建议使用ABFSS路径。
➡️
