Uber 推动 Apache Kafka 的分层存储功能，引发效率争论
原文英文，约1100词，阅读约需4分钟。
📝
内容提要
Uber已为Apache Kafka添加了分层存储，允许扩展存储功能。Red Hat和AWS也实施了分层存储，突出了其优势。然而，专家警告可能存在的复杂性和限制。
🔎
延伸解读
分层存储的适用场景与限制
分层存储适合需要长期保留历史数据且对成本敏感的大型Kafka集群，通过将冷数据移至远程存储来独立扩展存储与计算。但当前版本仍存在限制：不支持多个日志目录（JBOD）和压缩主题，关闭分层时需转移数据。用户需评估自身用例是否匹配这些条件，避免盲目采用。
性能与成本的权衡
分层存储虽能降低存储成本，但从远程存储获取数据可能引入延迟，影响实时处理。此外，跨可用区网络费用可能抵消成本节省。专家指出，管理两层存储会增加运维复杂性和潜在故障模式。因此，在采用前需仔细权衡成本效益与性能影响。
监控与运维要点
使用分层存储时，监控至关重要。Uber和Red Hat引入了新指标来跟踪远程存储操作，如上传/下载速度和错误率。用户应设置告警以及时发现慢操作或高错误率。同时，需注意该功能在开源Kafka 3.6.0中仍为早期访问，生产部署前应充分测试和评估。
❓
Q&A
Uber为Apache Kafka添加的分层存储功能有什么目的？
旨在解决大规模Kafka集群的可扩展性和效率问题。
分层存储如何影响Kafka的存储能力？
允许Kafka将存储扩展到远程存储系统，如HDFS和云存储，独立于计算资源进行扩展。
Red Hat分析了分层存储的哪些优势？
包括弹性、隔离和成本效益。
AWS如何改进了Apache Kafka的分层存储功能？
通过Amazon MSK显著提高了Kafka集群的可用性和弹性，优化了负载均衡和快速恢复。
行业专家对分层存储持什么态度？
持谨慎态度，认为可能引入新的复杂性和潜在故障模式。
使用分层存储时需要注意哪些限制？
当前限制包括不支持多个日志目录和关闭分层时需转移数据。
🏷️
