Kafka中手工提交偏移量的4种方法
内容提要
Kafka中手工提交偏移量的4种方法：自动提交、手动同步提交、手动异步提交、提交特定偏移量。自动提交简单但可能导致数据丢失，手动同步提交防止数据丢失但影响性能，手动异步提交性能更好但不会重试，提交特定偏移量可更精确控制。
延伸解读
自动提交的潜在数据丢失风险
自动提交是Kafka默认的偏移量提交方式，每5秒提交一次poll()返回的最大偏移量。如果消费者在处理消息过程中崩溃，已提交的偏移量可能大于实际处理的消息偏移量，导致部分消息丢失。例如，poll()返回100条消息，消费者处理60条后崩溃，自动提交可能已提交偏移量100，新消费者从101开始读取，61到100的消息丢失。因此，自动提交简单但不可靠。
同步提交的性能与重复读取权衡
手动同步提交通过commitSync()在处理消息后提交偏移量，防止数据丢失，但会阻塞代码直到提交完成，并在出错时重试，降低吞吐量。此外，如果在提交偏移量前消费者崩溃，消息会被重复读取。因此，同步提交适合对数据丢失敏感但能容忍性能损失和重复处理的场景。
异步提交的重复读取风险
commitAsync()异步提交偏移量，避免阻塞，提高性能，但失败时不会重试。它依赖后续调用提交最新偏移量。如果提交偏移量300失败，而后续调用提交了偏移量400，重试300成功会覆盖400，导致重复读取。因此，异步提交适合对性能要求高且能容忍重复消息的场景。
提交特定偏移量的精确控制
通过commitSync()或commitAsync()的重载方法，可以传入Map<TopicPartition, OffsetAndMetadata>来提交特定偏移量。例如，每处理50条消息提交一次，精确控制提交时机。这种方式行为与同步或异步提交相同，但由开发者决定提交哪些偏移量，适合需要细粒度控制的场景。
Q&A
Kafka中偏移量的作用是什么？
偏移量用于跟踪消费者读取的消息，确保消息的处理顺序和防止重复读取或数据丢失。
自动提交偏移量有什么缺点？
自动提交可能导致数据丢失，因为在处理消息之前就提交了偏移量。
手动同步提交与手动异步提交有什么区别？
手动同步提交在处理消息后提交偏移量，可能导致重复读取；手动异步提交则在不同线程中提交，性能更好但在失败时不会重试。
如何使用commitSync()提交特定偏移量？
可以通过创建一个映射，记录每个TopicPartition的OffsetAndMetadata，并在处理一定数量的消息后调用commitSync()提交这些偏移量。
手动异步提交的主要问题是什么？
手动异步提交在失败时不会重试，可能导致数据重复读取。
在Kafka中，如何禁用自动提交？
通过将属性enabled.auto.commit设置为false来禁用自动提交。
