内容提要
LinkedIn推出了Northguard和Xinfra，前者是可扩展的日志存储系统，替代Kafka，后者是虚拟化的Pub/Sub层。Northguard提升了可扩展性和一致性，简化数据管理，提升性能。Xinfra实现了Kafka与Northguard的无缝迁移，LinkedIn已成功迁移数千个主题，处理万亿条记录。
关键要点
-
LinkedIn推出了Northguard，一个可扩展的日志存储系统，替代Kafka。
-
Northguard提供分片数据和元数据、日志条带、强一致性和自平衡集群，超越Kafka的规模。
-
Xinfra是一个虚拟化的Pub/Sub层，实现了Kafka与Northguard之间的无缝迁移。
-
Northguard的架构消除了Kafka的单控制器和基于分区的限制，简化了数据管理。
-
Northguard的数据模型将日志组织为记录、段、范围和主题，支持动态拆分和合并。
-
与传统的索引分区相比，范围提供了更灵活的扩展机制，减少了对客户端的干扰。
-
Northguard的元数据模型使用分片的Raft支持的复制状态机，避免了Kafka的控制器瓶颈。
-
LinkedIn优化了Northguard的协议以提高性能和耐久性，确保强耐久性和高吞吐量。
-
Xinfra支持在Kafka和Northguard之间的双写机制，实现了无客户端更改的实时迁移。
-
Northguard的段存储是可插拔的，默认实现优化了耐久性和延迟。
-
Northguard经过严格测试，模拟复杂故障场景以确保可靠性。
-
LinkedIn成功迁移了数千个主题到Northguard，每天处理万亿条记录，90%以上的应用已在运行Xinfra客户端。
-
LinkedIn表示将探索开源Northguard和Xinfra的可能性。
延伸问答
Northguard是什么，它的主要功能是什么？
Northguard是LinkedIn推出的可扩展日志存储系统，主要功能包括提供分片数据和元数据、强一致性、自平衡集群等，旨在替代Kafka。
Xinfra的作用是什么？
Xinfra是一个虚拟化的Pub/Sub层，旨在实现Kafka与Northguard之间的无缝迁移，支持双写机制，允许在不更改客户端的情况下进行实时迁移。
Northguard如何提高性能和耐久性？
Northguard通过优化协议、使用会话化流协议、确保强耐久性和高吞吐量来提高性能和耐久性，生产者在所有副本上进行fsync后才会收到确认。
Northguard的数据模型是如何组织日志的？
Northguard的数据模型将日志组织为记录、段、范围和主题，支持动态拆分和合并，以实现灵活的扩展和有序性。
LinkedIn在迁移到Northguard时遇到了哪些挑战？
LinkedIn在迁移到Northguard时需要实现无缝、零停机的过渡，以支持数千个关键应用程序的实时迁移。
LinkedIn是否计划开源Northguard和Xinfra？
LinkedIn表示将探索开源Northguard和Xinfra的可能性，但目前专注于在内部系统中完善这两个工具的实现。
