标签

 数仓 

相关的文章:

阿里云云栖号 -

流批一体的近实时数仓的思考与设计

AI生成摘要 本文探讨了离线、近实时、实时三种数仓在时间维度下的成因和Lambda、Kappa架构在时间维度下的取舍。同时,提出了基于实时数仓的确定性问题,探讨了数仓一体的可行性思考。文章认为,基于离线数仓的思考,结果的确定性是很重要的,同时要保证计算结果同离线数仓的一致性。最终的任务运行方式同时包含三种:实时模式、离线模式、业务模式,分别对应着不同的数据准确性级别。基于 Flink 和数据湖的流批一体近实时数仓设计示例,需要解决如下问题:Flink 任务支持批量计算能力要持续不断的加强,如何使用同一份 Flink SQL,既可以用于批任务调度,又可以用于流任务运行呢,批任务的调度和流任务的计算如何分离,流任务的 Insert into 如何实现主键写入,流批任务的调度依赖。

阅读全文 去reddit讨论

华为云官方博客 -

数仓实践丨主动预防-DWS关键工具安装确认

AI生成摘要 本文介绍了华为云社区《主动预防-DWS关键工具安装确认》的内容,包括gdb、gstack、core、pg_xlogdump、pagehack和gs_detect等工具的安装和使用方法,以及系统加固方面的注意事项。同时提到了arm加固项确认和Centos7.6impi模块导致服务器反复重启的修复方案。

阅读全文 去reddit讨论

华为云官方博客 -

带你掌握数仓的作业级监控TopSQL

AI生成摘要 介绍GaussDB(DWS)监控工具TopSQL的功能和使用方法,覆盖内存、耗时、IO、网络、空间等多方面的监控能力。解析TopSQL的原理和性能分析,提供相关指标和特殊情况说明。介绍TopSQL的扩展及应用,并总结常见问题定位的方法。

阅读全文 去reddit讨论

华为云官方博客 -

GaussDB(DWS)云原生数仓技术解析

本文主要介绍GaussDB(DWS)云原生数仓架构、产品能力,帮助开发者快速了解GaussDB(DWS)云原生数仓相关信息与能力。

阅读全文 去reddit讨论

华为云官方博客 -

数仓安全测试之SSRF漏洞

SSRF (Server-Side Request Forgery,服务器端请求伪造)是指由攻击者构造请求,然后利用服务器的漏洞以服务端的身份向内网发送请求对内...

阅读全文 去reddit讨论

华为云官方博客 -

从数仓发展史浅析数仓未来技术趋势

华为云EI DTSE技术布道师/华为云数仓GaussDB(DWS)首席架构师曾凯,针对数据仓库的起源、演进过程、未来技术发展趋势,与开发者和伙伴朋友们展开交流互...

阅读全文 去reddit讨论

华为云官方博客 -

数仓如何进行表级控制analyze?

介绍如何设置采样大小和表级控制analyze。

阅读全文 去reddit讨论

华为云官方博客 -

【数仓运维实践】关于GaussDB(DWS)单SQL磁盘空间管控

本文主要讲解数仓运维中遇到单SQL磁盘空间管控问题的解析和方案。

阅读全文 去reddit讨论

华为云官方博客 -

DSC:数仓SQL脚本迁移的神奇工具

AI生成摘要 DSC是一款免安装的命令行工具,可以将源数据库SQL脚本转换为适用于DWS数据库的SQL脚本,提供简单、快速、可靠的SQL脚本迁移服务,可以通过自定义功能配置和查看日志解决常见问题。

阅读全文 去reddit讨论

华为云官方博客 -

对比分析数仓中行列存的特性

AI生成摘要 GaussDB(DWS)存储引擎支持行列存,行存适合OLTP业务,列存适合数据仓库业务,可以优化行列存join的执行计划,但不支持小量insert及update操作。

阅读全文 去reddit讨论