小红花·文摘
  • 首页
  • AI Tokens🪙
  • 排行榜🏆
  • 直播
  • FAQ
RDS for MySQL 8.0 升级 8.4 之下游 Binlog 消费处理实战 (一)—— 蓝绿部署下的 Canal CDC 位点衔接与故障处理

本文介绍RDS MySQL 8.0升级至8.4时,蓝绿切换导致Canal CDC出现errno 1236错误。原因是绿环境只读副本的binlog缺失部分GTID事务。解决方案是将Canal原GTID位点与绿副本的gtid_purged求并集修补,而非整体覆盖。同时需调整Kafka消息大小限制,并遵循切换前检查、故障处置和验证步骤。

RDS for MySQL 8.0 升级 8.4 之下游 Binlog 消费处理实战 (一)—— 蓝绿部署下的 Canal CDC 位点衔接与故障处理

亚马逊AWS官方博客 亚马逊AWS官方博客 · 2026-09-09T01:31:23Z
大规模数据库迁移中的 CDC 吞吐优化实践

本文介绍基于Amazon MSK Connect与Debezium的高吞吐CDC同步方案,解决AWS DMS单任务无法追平高写入量MySQL源库延迟的问题。通过单连接读取binlog、多Task并行写入Aurora MySQL,实现N倍吞吐提升,且不增加源库压力。文章涵盖架构设计、部署步骤、并行度调优及常见问题,适用于自建MySQL迁移AWS场景。

大规模数据库迁移中的 CDC 吞吐优化实践

亚马逊AWS官方博客 亚马逊AWS官方博客 · 2026-08-31T06:04:38Z
把 RDS MySQL 数据入仓 Amazon Redshift 的三种方式 · 首推 Zero-ETL

本文介绍将RDS MySQL数据同步至Amazon Redshift的三种方式:S3+COPY批量加载、AWS Glue ETL微批处理、Zero-ETL近实时集成。重点推荐Zero-ETL,因其零代码、全托管、延迟约1分钟且支持完整CDC(含删除操作)。文章对比三种方案的架构、成本、运维和延迟,并提供选型建议:持续同步选Zero-ETL,复杂转换用Glue,一次性导入用S3+COPY。

把 RDS MySQL 数据入仓 Amazon Redshift 的三种方式 · 首推 Zero-ETL

亚马逊AWS官方博客 亚马逊AWS官方博客 · 2026-08-28T15:36:18Z
使用声明式模式现代化Lakehouse中的SQL ETL

Databricks在SQL编辑器中引入声明式ETL,支持追加、CDC和批量覆盖三种模式,简化数据转换流程。用户可直接在SQL查询中定义流程,平台自动处理增量处理、调度和编排。CDC模式支持SCD类型1和2,REPLACE WHERE提升性能。用户可混合传统SQL与声明式操作,并借助Genie Code生成和优化流程。

使用声明式模式现代化Lakehouse中的SQL ETL

Databricks Databricks · 2026-08-25T15:00:00Z
事务型数据库与分析型数据库:选择OLTP、OLAP还是混合架构

事务型数据库(OLTP)优化实时读写与ACID合规,适合银行、电商等操作场景;分析型数据库(OLAP)侧重列式存储与大规模历史数据查询,支持商业智能。两者权衡延迟、吞吐与存储格式,多数企业通过CDC复制管道并行运行,平衡速度与洞察力。选择需评估查询模式、并发、数据量及新鲜度需求。

事务型数据库与分析型数据库:选择OLTP、OLAP还是混合架构

Databricks Databricks · 2026-08-24T16:53:46Z

本文介绍Debezium PostgreSQL连接器的关键配置:通过设置REPLICA IDENTITY FULL获取更新/删除前的数据;使用table.include/exclude.list过滤表;用publication.autocreate.mode控制发布模式;通过ByLogicalTableRouter将多表事件路由到单一Kafka主题;并提及快照模式、墓碑记录及生产配置示例,以优化CDC事件捕获。

Debezium PostgreSQL连接器——关键配置

Kimserey Lam’s website, Software Development blog posts, videos and tutorials Kimserey Lam’s website, Software Development blog posts, videos and tutorials · 2026-08-12T05:00:00Z
Snowflake把CDC推进Postgres内核实现自动复制

Snowflake将CDC直接嵌入Postgres内核,通过推式架构和事务边界,将数据复制变为自动、稳定的机制。它利用扩展监控WAL日志,将变更打包为Parquet文件存入Iceberg,确保事务一致性和“恰好一次”处理,并通过实时视图解耦复制与查询延迟,简化运维,使复制可靠且无需人工干预。

Snowflake把CDC推进Postgres内核实现自动复制

极道 极道 · 2026-08-10T05:28:00Z

Debezium 是分布式 CDC 平台,通过追踪 PostgreSQL 的 WAL 日志,将行变更实时发布到 Kafka。本文介绍如何用 Docker 搭建 PostgreSQL、Kafka 和 Kafka Connect 环境,注册 Debezium 连接器,并演示初始快照和实时增删改事件。事件包含 before、after、source 和 op 字段,主键作为消息键保证顺序。Debezium 读取 WAL 而非表,对应用查询无影响,仅增加 WAL 保留开销。

Debezium PostgreSQL 连接器 — CDC 实战

Kimserey Lam’s website, Software Development blog posts, videos and tutorials Kimserey Lam’s website, Software Development blog posts, videos and tutorials · 2026-08-08T05:00:00Z

PostgreSQL逻辑复制基于WAL实现实时CDC,通过复制槽跟踪消费进度,发布定义表过滤,WAL发送进程推送变更。需设置wal_level=logical、复制角色和发布,消费者用复制协议流式接收行级变更,可转发至Kafka等系统。

PostgreSQL逻辑复制与CDC

Kimserey Lam’s website, Software Development blog posts, videos and tutorials Kimserey Lam’s website, Software Development blog posts, videos and tutorials · 2026-08-05T05:00:00Z

PostgreSQL 的隔离级别从宽松到严格依次为读已提交、可重复读、可串行化,分别防止脏读、不可重复读、幻读和序列化异常。MVCC 通过快照实现隔离,快照记录事务状态而非 LSN。CDC 中,复制槽创建时导出快照,配合 WAL 流确保数据完整,需用可重复读只读事务导入快照。

PostgreSQL中的事务隔离与导出快照

Kimserey Lam’s website, Software Development blog posts, videos and tutorials Kimserey Lam’s website, Software Development blog posts, videos and tutorials · 2026-07-29T05:00:00Z
缓存一致性:保持数据新鲜的策略

本文介绍缓存一致性的概念、原因及解决方案。缓存因TTL过期、写入竞争和多实例并发而漂移,导致数据陈旧。经典模式如cache-aside、write-through各有权衡,事件驱动失效(如Redis键空间通知和CDC)能实时同步。Redis Data Integration(RDI)通过CDC自动同步数据库变更到Redis,减少自定义代码,确保数据新鲜度。

缓存一致性:保持数据新鲜的策略

Redis Blog Redis Blog · 2026-07-20T00:00:00Z

本文总结了TiKV/HTAP系列的核心内容,包括选型决策树、站内阅读地图及学术谱系。读者可以理解如何选择合适的KV存储,特别是在数据规模、分布式事务和新鲜度要求方面。系列共18篇,探讨了从Region切分到Multi-Raft复制的各个环节,并指出了当前的开放问题,如千万级Region的运维上限和跨Region的可观测性。

【TiKV / HTAP 内核】选型与阅读地图:TiKV vs etcd vs FDB vs 单机 RocksDB vs 湖 + CDC

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-07-16T00:00:00Z

本文讨论了Debezium在变更数据捕获(CDC)管道中的作用,特别是如何通过Kafka将数据库变更传输到Flink或Iceberg。重点在于理解变更事件的结构,包括操作类型(插入、更新、删除)及其对应的前后镜像。文章还探讨了快照与增量数据的处理,以及在数据湖中进行upsert时的主键和顺序要求,强调了Debezium与Flink、Iceberg之间的协作关系。

【流式数据处理】Debezium 与 Change Data Capture

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-07-01T00:00:00Z

Vinay Chella and Akshat Goel discuss the challenges of running traditional CDC across heterogeneous databases during peak order traffic. They explain how Debezium hit limits under high load and...

Presentation: Write-Ahead Intent Log: a Foundation for Efficient CDC at Scale

InfoQ InfoQ · 2026-06-18T13:13:00Z

CDC使用Rust构建的传播模型预测2026年刚果和乌干达的布维加病毒病疫情。模型显示,若仅20%患者隔离,三个月内病例超过2万的概率为65%。Rust在公共卫生建模中的应用展示了其高可靠性和性能优势。

【Rust日报】2026-06-06 CDC 用 Rust 模型开展埃博拉疫情情景推演

Rust.cc Rust.cc · 2026-06-06T01:07:06Z
肖宇伟:介绍pg_duckpipe:为您的湖仓提供实时CDC

pg_duckpipe是一个新的PostgreSQL扩展,能够实时将常规堆表同步到DuckLake列式表。它通过基于WAL的CDC实现,无需外部基础设施,用户只需一个SQL调用即可开始同步,解决了数据过时和维护复杂性的问题。该扩展支持从远程PostgreSQL实例复制数据,简化了分析层的添加,正在积极开发中,未来将增加更多功能和性能优化。

肖宇伟:介绍pg_duckpipe:为您的湖仓提供实时CDC

Planet PostgreSQL Planet PostgreSQL · 2026-03-10T00:00:00Z
Pinterest的CDC驱动摄取将数据库延迟从24小时缩短至15分钟

Pinterest推出新一代数据库摄取框架,解决了旧系统的延迟和复杂性问题,实现实时数据访问,数据延迟从24小时缩短至15分钟,优化资源利用,支持增量更新和删除,处理PB级数据。

Pinterest的CDC驱动摄取将数据库延迟从24小时缩短至15分钟

InfoQ InfoQ · 2026-02-26T15:00:00Z
Heroku Connect:与Salesforce CDC实现更快、更可靠的数据同步

Heroku Connect推出加速轮询功能,支持Salesforce变更数据捕获(CDC),解决数据同步速度慢的问题,用户可快速同步关键对象,提升业务效率,设置简单,只需与Salesforce管理员合作启用CDC。

Heroku Connect:与Salesforce CDC实现更快、更可靠的数据同步

Heroku Heroku · 2025-10-30T17:45:10Z
Pinterest如何通过CDC传输数百TB的数据

Pinterest构建了一个基于Debezium和Kafka的通用变更数据捕获(CDC)平台,以满足数据基础设施的扩展需求。该系统支持实时数据处理,确保数据一致性和高效性,并通过控制平面与数据平面的分离,实现大规模数据处理,简化系统维护与升级。

Pinterest如何通过CDC传输数百TB的数据

ByteByteGo Newsletter ByteByteGo Newsletter · 2025-10-21T15:30:42Z
利用Debezium平台解决Valkey中的缓存失效和缓存冲击问题

本文探讨如何通过Debezium平台解决Valkey中的缓存失效和缓存冲击问题,利用变更数据捕获(CDC)实时更新缓存,确保数据准确性,避免过时信息和性能下降。

利用Debezium平台解决Valkey中的缓存失效和缓存冲击问题

Percona Database Performance Blog Percona Database Performance Blog · 2025-09-30T13:17:13Z
  • <<
  • <
  • 1 (current)
  • 2
  • 3
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 1tok 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator 模力方舟 Gitee AI

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码