PL/Python扩展使DWS数据库能够直接使用Python,简化复杂运算和数据处理。通过Fenced模式确保安全性和资源控制,支持Pandas、Numpy等库,提高开发效率,适合AI和大数据应用,为数据仓库提供强大的算法处理能力。
本文介绍了DWS通过集成pgvector插件,实现高维向量数据检索,解决传统数据库在处理非结构化数据时的局限,提升商品推荐系统的语义搜索与相似度计算能力。
本文介绍了一种基于DWS的检索增强生成(RAG)框架,旨在自动化生成行业调研报告。该框架结合信息检索与大语言模型,提高报告生成的效率与准确性,涵盖数据准备、检索优化和生成控制等关键环节,助力组织快速迭代和规模化生产调研报告。
华为云DWS推出AI数仓能力,解决传统数据仓库的存储冗余和运维复杂问题。新版本集成MCP协议,支持实时推理和多模态分析,提升开发效率,助力企业数字化转型。
本文介绍了DWS MCP Server的搭建与功能,MCP协议简化了大型语言模型与数据库的交互,用户可通过自然语言直接操作数据库,实现SQL自动转换,支持元数据查询和SQL执行。配置过程包括环境准备、源码下载和客户端设置,最终实现一键查询和自动化报表,提高数据分析效率。
本文介绍了GaussDB(DWS)中的谓词列分析功能,包括动态采样和手动采样。该功能通过识别WHERE、JOIN等条件列,优化采样过程,减少分析时间,特别适用于大宽表。在9.1.0.100版本中默认开启,用户可通过guc参数进行控制。
本文介绍了华为GaussDB(DWS)查询过滤器的原理与使用,重点在于9.1.0.100及以上版本的功能改进。用户可通过DDL语句创建过滤规则,识别并拦截低效SQL,从而提升查询效率。新版本增强了规则的灵活性,支持多维度配置,管理员可有效管理查询过滤规则,确保系统性能。
逻辑集群通过将物理集群划分为多个节点组,实现数据、资源和权限的隔离,提升管理效率,支持弹性计算和独立扩缩容,以满足复杂业务需求,解决大规模数据管理问题。
本文分析了IN运算符与OR运算符在查询性能上的差异,结果显示IN运算符在单一属性过滤时性能优于OR,尤其在谓词数量较多时差距更明显;而在多个属性过滤时,两者性能相当。建议DWS用户优先使用IN运算符以提高查询效率。
本文介绍了华为云DWS的历史查询诊断功能,旨在帮助开发者分析SQL执行性能,提升自运维能力。核心功能包括SQL趋势统计、异常诊断和一键诊断,支持监控SQL质量和运行时长,并提供可视化执行计划分析,以识别和优化低效SQL。
Navicat更新支持华为云GaussDB(DWS),通过Navicat Premium 17.1.3版本,Windows用户可更方便地管理数据仓库。GaussDB(DWS)在金融等行业应用广泛。未来,华为云与Navicat将深化合作,提升管理体验。
DWS实时数仓解决方案支持分层和增量加工,实现数据的实时入库、出库和查询,确保数据新鲜度。解决方案与Flink深度融合,简化链路和运维,提高数据处理效率和查询速度。未来将继续深化与Flink的融合,优化存储与计算引擎,提升数据处理性能,拓展应用场景。
湖仓一体是现代数据平台,结合了数据湖和数据仓库的特点,解决了数据孤岛和性能瓶颈等问题。华为云DWS湖仓一体方案已广泛应用于金融、电信、政府、医疗等行业。未来DWS将增强数据入湖能力,实现更灵活的计费模式。
本文介绍了GaussDB(DWS)的统计信息自动收集方案,包括手动采样、轮询采样、动态采样和前台动态采样等功能。还提供了解决统计信息收集失败的最佳实践,如开启light动态采样、使用exchange partition等。同时介绍了保证及时触发的方法,如异步广播和实时广播。最后,提供了解决查询计划差、数据特征统计不准等问题的解决方案。
本文介绍了GaussDB(DWS)数据库的运维工具TopSQL的原理、能力及应用场景,包括记录语句信息、定位性能问题、实时和历史记录等。文章还介绍了TopSQL的系统表和参数设置,以及实时和历史视图的使用方法。最后,给出了TopSQL的典型应用场景和使用注意事项。
华为云数仓产品GaussDB(DWS)是备受瞩目的数仓产品之一,具备丰富的GP迁移成功经验,易使用、高性能、易扩展、高可靠、低成本。华为云GaussDB(DWS)已成为国内数据仓库中的佼佼者,帮助1700+大客户规模商用。未来,GaussDB(DWS)将继续深耕云原生Serverless化、实时分析、湖仓一体、数智融合、HTAP等数仓核心技术。
本文介绍了GaussDB(DWS)性能调优中的两个优化案例,通过改写SQL解决了维度表未进行分区剪枝和数据倾斜的问题,以及删除关联条件并改写SQL解决了数据倾斜和性能差的问题,提高了SQL的执行性能。
本文介绍了GaussDB(DWS)行执行引擎的组成和功能,包括扫描算子、连接算子、物化算子和控制算子。行执行引擎是查询的执行者,负责从存储引擎中读取数据并进行处理。文章还介绍了行执行引擎的执行框架和常见算子。
华为云数仓GaussDB(DWS)利用Flink实现实时数仓构建,提供快速分析查询能力。增量计算解决高性能和数据入库问题。GaussDB(DWS)与Flink结合构建下一代Stream Warehouse,实现实时入出仓、实时增量加工和实时查询。GaussDB(DWS)结合Flink的能力包括Catalog、Source、Sink和流维。生态工具streamer简化数据入库操作。
随着智能数据时代的到来,数据量爆发式增长,数据形态呈海量化和多样化发展。华为云数仓GaussDB(DWS)湖仓融合技术可以实现对数据湖的无缝访问和融合查询,同时提供极致的查询性能。湖仓融合技术支持多种数据格式,如文本类型、列存存储格式、Parquet/ORC和Hudi。湖仓融合的功能包括变更数据、实时性、数据事务、并发性、多版本能力、存储优化和数据管理。湖仓融合还可以通过元数据打通实现统一的数据目录和表结构。
完成下面两步后,将自动完成登录并继续当前操作。