小红花·文摘
  • 首页
  • AI Tokens🪙
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI
别再滥用 ClickHouse 了!单机每秒狂刷 1800 万条数据,拆解 Go+DuckDB 的“微型数仓”降维打击

DuckDB是一种嵌入式列式数据库,结合Go语言可实现每秒写入1800万条数据,适合大数据分析。与传统关系型数据库相比,DuckDB通过向量化执行和原生支持Parquet格式显著提升查询性能,且无需复杂的集群部署,适合轻量级分析,尤其在处理Nginx日志时表现优异。但不适合高并发的在线事务处理。

别再滥用 ClickHouse 了!单机每秒狂刷 1800 万条数据,拆解 Go+DuckDB 的“微型数仓”降维打击

Tony Bai Tony Bai · 2026-03-12T16:00:00Z
华为云DWS上线AI数仓能力,持续引领融合分析新范式!

华为云DWS推出AI数仓能力,解决传统数据仓库的存储冗余和运维复杂问题。新版本集成MCP协议,支持实时推理和多模态分析,提升开发效率,助力企业数字化转型。

华为云DWS上线AI数仓能力,持续引领融合分析新范式!

华为云官方博客 华为云官方博客 · 2026-02-09T03:17:04Z

DWS实时数仓解决方案支持分层和增量加工,实现数据的实时入库、出库和查询,确保数据新鲜度。解决方案与Flink深度融合,简化链路和运维,提高数据处理效率和查询速度。未来将继续深化与Flink的融合,优化存储与计算引擎,提升数据处理性能,拓展应用场景。

技术揭秘 DWS 实时数仓解决方案,如何深度融合 Flink 简化数据链路

华为云官方博客 华为云官方博客 · 2024-09-12T03:23:47Z
Snowflake:云原生数仓的开创者

Snowflake是一种云原生数据仓库,具有存算分离、多租户和高性能等特点。它的架构包括存储层、计算层和元信息层。

Snowflake:云原生数仓的开创者

木鸟杂记 木鸟杂记 · 2024-08-25T06:41:07Z

华为云数仓产品GaussDB(DWS)是备受瞩目的数仓产品之一,具备丰富的GP迁移成功经验,易使用、高性能、易扩展、高可靠、低成本。华为云GaussDB(DWS)已成为国内数据仓库中的佼佼者,帮助1700+大客户规模商用。未来,GaussDB(DWS)将继续深耕云原生Serverless化、实时分析、湖仓一体、数智融合、HTAP等数仓核心技术。

开源数据库Greenplu突然闭源?GaussDB(DWS)提供数仓新可能

华为云官方博客 华为云官方博客 · 2024-07-08T02:19:44Z

本文介绍了GaussDB(DWS)数据脱敏功能的原理和使用方法,包括动态脱敏、脱敏策略创建和绑定等。还介绍了可算不可见功能和防护恶意套取的方法。数据脱敏实时处理查询语句,具有优势和应用场景。

数仓安全:数据脱敏技术深度解析

华为云官方博客 华为云官方博客 · 2024-05-10T09:50:00Z

本文介绍了GaussDB(DWS) 3A安全能力,包括认证、授权和审计。

详解数仓的3A安全能力

华为云官方博客 华为云官方博客 · 2024-05-07T08:35:37Z

本文介绍了GaussDB(DWS)中的向量化执行引擎,该引擎采用一次一批元组的执行模式,能够减少遍历执行节点的开销,提高CPU的有效利用率。向量化引擎与列存储结合,能够在底层扫描节点装填向量化的列数据。文章还介绍了行执行器和列执行器的区别,以及向量化引擎的性能优势。最后,文章提到了GaussDB向量化引擎的演进过程,包括Sonic向量化引擎和Turbo向量化引擎的推出,以及对各种算子的进一步优化。

详解数仓的向量化执行引擎

华为云官方博客 华为云官方博客 · 2024-04-25T08:47:02Z

本文介绍了JSON和JSONB的概念和区别,以及DWS中JSON和JSONB的使用方法和功能。JSON是一种轻量级的数据交换格式,而JSONB是对JSON数据进行解析和存储后的格式。JSON和JSONB的存储方式和性能有所不同,JSON在插入时性能较好,而JSONB在查询时性能较好。文章还介绍了JSON和JSONB的输入格式和常用函数及操作符。总结了DWS中JSON和JSONB的功能和优缺点,并提出了后续的演进路线。

数仓的两种轻量级数据交换格式:json与jsonb

华为云官方博客 华为云官方博客 · 2024-04-19T07:18:56Z

华为云数仓GaussDB(DWS)利用Flink实现实时数仓构建,提供快速分析查询能力。增量计算解决高性能和数据入库问题。GaussDB(DWS)与Flink结合构建下一代Stream Warehouse,实现实时入出仓、实时增量加工和实时查询。GaussDB(DWS)结合Flink的能力包括Catalog、Source、Sink和流维。生态工具streamer简化数据入库操作。

GaussDB(DWS)基于Flink的实时数仓构建

华为云官方博客 华为云官方博客 · 2024-04-18T06:53:30Z

本文介绍了GaussDB(DWS)性能调优中的优化器和系统级GUC参数,包括语句级调优和数据库全局级别的参数配置。通过调整GUC参数可以选择更优的查询计划,提升语句执行性能和整体性能。关键词:GaussDB(DWS)、性能调优、优化器、系统级GUC参数、语句级调优

数仓调优实战:GUC参数调优

华为云官方博客 华为云官方博客 · 2024-04-07T08:16:47Z

本文介绍了GaussDB DWS的SQL ON ANYWHERE技术,可以在一个客户端中使用SQL语句操作不同的大数据组件,提升使用效率。通过SQL ON ANYWHERE特性,实现与其他大数据组件和数据库互联互通访问,扩大应用场景。具体实现方式包括利用FDW访问HDFS/OBS数据和通过EC+ODBC实现跨数据库访问。

解密数仓的SQL ON ANYWHERE技术

华为云官方博客 华为云官方博客 · 2024-04-03T01:39:21Z

本文介绍了GaussDB(DWS)数据库中序列SEQUENCE的原理和使用方法,包括创建、修改和删除序列,以及相关函数的使用。总结了SEQUENCE的使用场景和常见问题的解决方法。

详解数仓对象设计中序列SEQUENCE原理与应用

华为云官方博客 华为云官方博客 · 2024-04-02T08:12:25Z

企业在进行大数据处理时,需要评判数仓模型的好坏。评判指标包括数据准确性、数据质量、数据模型的建模、数据集成、数据分析的支持程度以及成本效益。

如何判断一个数仓模型的好坏?

京东科技开发者 京东科技开发者 · 2024-03-26T02:25:40Z

今年JD新增招聘名额,招聘基于DataFusion/Ballista的数仓产品开发工作。

招聘数据库引擎开发工程师-武汉-2024

Rust.cc Rust.cc · 2024-03-07T06:38:34Z

本文介绍了GaussDB(DWS)中的HashJoin-nestloop等待视图的含义和影响。当内存不足时,会通过内外表交换或执行nestloop使查询平稳进行,防止内存报错。建议将参数hashjoin_spill_strategy设置为2以规避问题。

数仓的等待视图中,为什么会有Hashjoin-nestloop?

华为云官方博客 华为云官方博客 · 2024-02-28T08:44:51Z

本文介绍了华为云的GaussDB(DWS)存储引擎HStore的优化方法,包括解决小CU问题和提升数据聚簇性。这些方法能够显著提升HStore表的性能。

数仓实践丨从CU入手优化HStore表

华为云官方博客 华为云官方博客 · 2024-02-27T07:49:04Z

本文介绍了云上环境双集群后台手动部署和使用细粒度容灾的步骤,包括容灾前准备、细粒度容灾操作和解除容灾。细粒度容灾满足核心分析型业务的连续性要求,降低容灾建设成本,轻量化架构易运维、易操作、易演练。

详解如何在数仓中搭建细粒度容灾应用

华为云官方博客 华为云官方博客 · 2024-02-01T09:03:38Z

本文介绍了使用with recursive递归查询的方法来实现查询视图的层级依赖关系。通过建立基表和视图,并使用复杂的组合查询,可以得到视图的依赖关系。然而,这种查询方法不直观且不友好。因此,可以使用with recursive语法来实现递归查询,将查询结果保存为视图,从而实现直观的依赖关系表示。最后,总结了查询视图的重要性和希望本文对读者有所帮助。

数仓如何递归查询视图依赖?

华为云官方博客 华为云官方博客 · 2024-01-24T09:09:11Z

阿里云推出Hologres V2.1版本,新增弹性计算组实例、实时湖仓Paimon格式支持、向量计算计算巢方案等功能。优化了CountDistinct、Runtime Filter和Join效率,新增了漏斗、留存、路径等函数,支持BSI+RB函数助力高效画像分析,以及单实例Shard多副本和DataWorks集成等能力。

Hologres V2.1版本发布,新增计算组实例构建高可用实时数仓

阿里云云栖号 阿里云云栖号 · 2024-01-16T08:01:04Z
  • <<
  • <
  • 1 (current)
  • 2
  • 3
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 1tok 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator 模力方舟 Gitee AI

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码