为什么我们在大规模实时数据处理中使用Apache Kafka
💡
原文英文，约1200词，阅读约需5分钟。
📝
内容提要
SecurityScorecard使用实时数据提供组织全面的安全状况视图。他们每天分析超过300种问题类型，识别200多亿个安全漏洞。他们采用Confluent Cloud和Confluent Platform进行数据流处理，构建了名为Horus的全球分布式系统。SecurityScorecard在流式基础设施成本上节省了200万美元。他们还使用Confluent进行数据治理和效率，使多个团队能够轻松共享和管理相同的源数据。迁移到Confluent Cloud简化了操作任务并降低了成本。SecurityScorecard实现了无与伦比的可扩展性，现在可以在10天内扫描超过2000个端口。他们计划利用Apache Flink进行进一步的增强。在构建流式数据管道时，建立及时性、使用模式、利用生态系统，并仅开发必要的部分是重要的。使用托管的数据流平台可以消除基础设施管理问题。
🎯
关键要点
- SecurityScorecard使用实时数据提供组织全面的安全状况视图。
- 每天分析超过300种问题类型，识别200多亿个安全漏洞。
- 采用Confluent Cloud和Confluent Platform构建流式数据管道。
- 创建名为Horus的全球分布式系统，节省了200万美元的流式基础设施成本。
- Horus使用实时流式管道和连接器处理数据，支持全球范围内的任务。
- 数据治理对SecurityScorecard至关重要，使用自定义的Protobuf库管理敏感数据访问。
- Confluent的Stream Governance功能增强了数据治理和效率。
- 迁移到Confluent Cloud简化了操作任务，节省了约125,000美元的年度成本。
- SecurityScorecard现在可以在10天内扫描超过2000个端口，提升了可扩展性。
- 在构建流式数据管道时，及时性、使用模式和生态系统的利用非常重要。
➡️
