Databricks
·
KPMG如何利用Delta Sharing访问和审计数十亿笔交易
内容提要
无缝安全的数据访问是组织面临的主要挑战，尤其在技术驱动的外部审计中。KPMG与一家英国能源供应商合作，利用Databricks中的Delta Sharing解决性能瓶颈，提高审计效率和质量。Delta Sharing支持大规模数据处理，降低存储和计算成本，灵活访问数据，提升审计成果。
关键要点
-
无缝安全的数据访问是组织面临的主要挑战，尤其在技术驱动的外部审计中。
-
KPMG与一家英国能源供应商合作，利用Databricks中的Delta Sharing解决性能瓶颈。
-
Delta Sharing支持大规模数据处理，降低存储和计算成本。
-
审计过程中需要在短时间内访问和分析数十亿行账单数据。
-
传统的AWS PostgreSQL环境在数据量增长时显示出局限性，导致数据分割和额外成本。
-
数据转移和复制导致审计开始延迟，缺乏新鲜度和灵活性。
-
PostgreSQL在执行单个查询时未能充分利用多个CPU核心，导致性能下降。
-
Delta Sharing提供安全高效的跨平台数据交换，避免数据重复。
-
Delta Sharing能够处理PB级数据，消除了PostgreSQL的性能限制。
-
Delta Sharing降低了存储和计算成本，减少了大规模数据复制和转移的需求。
-
共享数据可以通过Databricks的PySpark、SQL和BI工具访问，便于审计交付的整合。
-
Delta Sharing允许“时间旅行”，检查以前在客户数据模型中丢失的历史数据状态。
延伸解读
数据访问的挑战与解决方案
在技术驱动的外部审计中，数据访问的无缝性和安全性至关重要。KPMG通过Delta Sharing解决了传统AWS PostgreSQL在处理大规模数据时的性能瓶颈，提升了审计效率。这一转变不仅提高了数据处理能力，还降低了存储和计算成本，值得其他组织借鉴。
Delta Sharing的优势
Delta Sharing作为一种开放的数据共享协议，能够处理PB级数据，消除了传统数据库的性能限制。其灵活性使得审计团队可以通过多种工具访问数据，增强了审计交付的整合性。这种高效的数据交换方式为审计行业提供了新的思路。
审计过程中的时间管理
在审计过程中，时间管理至关重要。KPMG通过Delta Sharing减少了数据转移和复制的需求，避免了审计开始的延迟。这种高效的数据访问方式使得审计团队能够在紧迫的时间框架内完成对数十亿行账单数据的分析，提升了审计质量。
延伸问答
KPMG如何解决外部审计中的数据访问挑战？
KPMG通过与一家英国能源供应商合作，利用Databricks中的Delta Sharing来解决性能瓶颈，提高审计效率和质量。
Delta Sharing的主要优势是什么？
Delta Sharing支持处理PB级数据，降低存储和计算成本，并提供安全高效的跨平台数据交换。
传统的AWS PostgreSQL在审计中存在哪些局限性？
AWS PostgreSQL在数据量增长时显示出局限性，导致数据分割、额外成本和查询性能下降。
Delta Sharing如何提高审计的效率和质量？
Delta Sharing通过减少数据复制和转移的需求，提供灵活的数据访问，提升审计成果。
KPMG在实施Delta Sharing时采取了什么策略？
KPMG在实施Delta Sharing时确保不干扰正在进行的审计工作，以便顺利过渡。
Delta Sharing如何支持历史数据的检查？
Delta Sharing允许“时间旅行”，可以检查以前在客户数据模型中丢失的历史数据状态。
