为什么我们在大规模实时数据处理中使用Apache Kafka
内容提要
SecurityScorecard使用实时数据提供组织全面的安全状况视图。他们每天分析超过300种问题类型，识别200多亿个安全漏洞。他们采用Confluent Cloud和Confluent Platform进行数据流处理，构建了名为Horus的全球分布式系统。SecurityScorecard在流式基础设施成本上节省了200万美元。他们还使用Confluent进行数据治理和效率，使多个团队能够轻松共享和管理相同的源数据。迁移到Confluent Cloud简化了操作任务并降低了成本。SecurityScorecard实现了无与伦比的可扩展性，现在可以在10天内扫描超过2000个端口。他们计划利用Apache Flink进行进一步的增强。在构建流式数据管道时，建立及时性、使用模式、利用生态系统，并仅开发必要的部分是重要的。使用托管的数据流平台可以消除基础设施管理问题。
延伸解读
自管理Kafka的运维负担与成本
SecurityScorecard的威胁研究团队曾自行管理Kafka，每天需花费8小时进行维护，严重挤占了产品开发时间。此外，他们依赖批处理管道在AWS S3之间传输数据，并使用昂贵的基于REST API的通信和RabbitMQ进行流处理。这些因素促使他们转向Confluent平台，最终节省了超过200万美元的流式基础设施成本。
数据治理与团队协作的强化
SecurityScorecard使用自定义Protobuf库管理敏感数据访问，并借助Confluent的Stream Governance功能和基于角色的访问控制，让数据平台团队能够控制集群访问。这使得多个团队可以更轻松地共享和治理相同的源数据，并支持数据“重放”，从而提升安全性和效率。
从MSK迁移到Confluent Cloud的收益
此前，SecurityScorecard使用Amazon MSK时面临版本升级困难、集群规模决策复杂等运维挑战。迁移到Confluent Cloud后，集群和连接器管理变得更简单可靠，每年节省约12.5万美元，第二天运维负担减少80%，预计年度运营成本降低48.3%。
构建流式数据管道的实用建议
SecurityScorecard建议：明确及时性定义以设定合理SLA；始终使用schema确保数据质量；利用生态系统中的连接器等成熟组件；只开发和维护绝对必要的部分。使用托管数据流平台可以消除基础设施管理问题，让团队专注于创新而非运维。
Q&A
SecurityScorecard如何利用实时数据提升安全状况视图？
SecurityScorecard通过分析互联网来源的数据，识别潜在的安全漏洞，从而提供全面的安全状况视图。
SecurityScorecard在流式数据处理上节省了多少成本？
SecurityScorecard在流式基础设施上节省了超过200万美元的成本。
Horus系统的主要功能是什么？
Horus是一个全球分布式系统，能够实时处理数据并执行各种安全任务，如IPv4扫描和漏洞检测。
迁移到Confluent Cloud对SecurityScorecard的影响是什么？
迁移到Confluent Cloud简化了操作任务，减少了约125,000美元的年度成本，并降低了80%的后续操作负担。
SecurityScorecard如何实现数据治理？
SecurityScorecard使用自定义的Protobuf库和Confluent的Stream Governance功能来管理敏感数据的访问和共享。
在构建流式数据管道时需要注意哪些关键因素？
在构建流式数据管道时，及时性、使用模式、生态系统的利用和仅开发必要部分是关键因素。
