标签

 kafka 

相关的文章:

京东科技开发者 -

基于Kafka和Elasticsearch构建实时站内搜索功能的实践

目前我们在构建一个多租户多产品类网站,为了让用户更好的找到他们所需要的产品,我们需要构建站内搜索功能,并且它应该是实时更新的。本文将会讨论构建这一功能的核心基础...

去reddit讨论

京东科技开发者 -

浅谈kafka

AI生成摘要 Apache Kafka是一种分布式流处理平台,支持顺序读写、数据批量处理和零拷贝技术,可以获得较大的I/O提升,并且支持多种压缩算法,可以节省网络传输带宽和Kafka Broker端的磁盘占用,可以通过设置参数保证消息的可靠性,并且通过HW&ISR机制保证消费数据的一致性和副本数据的一致性,将位移数据作为普通消息提交至内部主题,实现高持久性和高频写操作。

去reddit讨论

dotNET跨平台 -

【Kafka】基于Windows的Kafka有关环境搭建、以及使用.NET环境开发的案例代码与演示...

AI生成摘要 在Windows系统下,使用.NET 6环境搭建Kafka环境,安装Java、Scala、Zookeeper、Kafka环境,安装Offset Explorer可视化工具,新建类库项目,引用Confluent.Kafka包,新增发布服务类和订阅服务类,实现Kafka生产者发布服务和消费者接收服务,新建控制台项目和webapi项目,实现消费者和生产者的客户端,使用可视化管理工具Offset查看消息,还有yahoo和滴滴提供的开源的Kafka运维管理平台。

去reddit讨论

Rust.cc -

教你如何使用 RisingWave 一秒钟直接洞察 kafka 中的数据

AI生成摘要 RisingWave是一款云原生流数据库,可以轻松消费Kafka中的数据,支持SQL语句查询和处理,可以利用Kafka中的时间戳来优化查询速度,提供更高效、更智能的流数据处理体验。

去reddit讨论

阿里云云栖号 -

Flink CDC+Kafka 加速业务实时化

AI生成摘要 任庆盛在 Apache Flink Meetup 上分享了 Flink CDC 技术对比与分析、Flink + Kafka 实时数据集成方案以及 Demo:Flink+Kafka 实现 CDC 数据的实时集成和实时分析。Flink + Kafka 实时数据集成方案支持一句 SQL 快速将数据库同步到 Kafka,支持表结构变更同步,只需启动一个 Flink 作业即可实现数据同步。

去reddit讨论

阿里云云栖号 -

阿里云消息队列 Kafka 生态集成的实践与探索

AI生成摘要 阿里云消息队列Kafka Connect框架兼容原生Kafka Connect框架,可用于将数据流输入和输出Kafka,支持数据库、数据仓库、数据检索和报表、告警系统、备份需求等主流使用场景,Kafka在软件架构中扮演重要角色。

去reddit讨论

华为云官方博客 -

云小课|MRS数据分析-通过Spark Streaming作业消费Kafka数据

Spark Streaming是一种构建在Spark上的实时计算框架,扩展了Spark处理大规模流式数据的能力。本文介绍如何使用MRS集群运行Spark Str...

去reddit讨论

解道jdon.com -

如何探测不健康 Kafka 消费者并将其自动重启?

AI生成摘要 Cloudflare 使用 Kafka 作为解耦服务的方法,Kubernetes 使用探测器来了解服务是否健康,但对于 Kafka 应用程序,Cloudflare 采取措施确保消费者按预期工作,以保持应用程序健康。他们的方法使用当前偏移量和承诺的偏移量值,当发生重新平衡时,服务可能会重新分配到不同的分区,为了解决这个问题,我们需要确保每个副本只跟踪它当时正在使用的分区的偏移量。Cloudflare 通过使用内存映射来实现,以保持消费者的健康检查。

去reddit讨论

dotNET跨平台 -

1.5万字长文:从 C# 入门 Kafka(Kafka .NET 基础)

目录3, Kafka .NET 基础生产者批量生产使用 Tasks.WhenAll如何进行性能测试消费3, Kafka .NET 基础在第一章中,笔者介绍了如何...

去reddit讨论

dotNET跨平台 -

1.5万字长文:从 C# 入门 Kafka(安装 Kafka)

目录1, 搭建 Kafka 环境安装 docker-compose单节点 Kafka 的部署Kafka 集群的部署作者:痴者工良个人网站:https://www...

去reddit讨论

...
白鲸出海
...
天勤数据
...
ShowMeBug
推荐或自荐