解决Kafka消息丢失的一个简单办法

虽然Kafka是一个功能强大的消息系统，但由于网络问题，我们可能会遇到一些不理想的情况。我们也遇到过由于网络问题导致的事件丢失，在试图避免这些丢失的同时，我们也遇到了由于相同原因导致的不同问题。在这篇文章中，我解释了我们如何解决在使用kafka作为生产者和消费者时遇到的问题，我们解决这些问题的结果，以及我们如何改进这些问题。问题作为Trendyol的交付核心团队，由于特定领域的逻辑，在处理完从主主题消耗的事件后，我们将其发布到kafka中的重试主题。通过调度器项目，我们从重试主题中获取事件，并将其发布回主主题。从主主题中消费并处理完事件后，我们将其发布到重试话..

Kafka是一个功能强大的消息系统，但由于网络问题可能导致事件丢失和超时异常。为解决这些问题，我们采用了发件箱模式和批量消费者。然而，重复事件和相同键的事件处理逻辑导致处理时间过长和资源占用过高。为消除重复事件，我们重构了处理方法，只处理第一个通过控制的事件并阻止处理其余事件。解决了重复事件问题。