文章讨论Kafka消费端防止消息丢失。原方案用Zookeeper选主、单分片消费,offset存数据库,但选主慢,且两台服务器同时宕机重启时,offset可能因Kafka日志10分钟清理而过期,导致消费失败和数据丢失。改进方案改用consumer.assign指定分片,配合带过期时间的分布式锁和手动提交offset,异步处理后再提交,实现快速故障接管,并建议调大日志保留时间。
完成下面两步后,将自动完成登录并继续当前操作。