内容提要
Apache软件基金会宣布Apache Iggy和Apache Sourcelume成为顶级项目。Iggy是基于Rust的高效持久消息流平台,支持多协议,低延迟,适合实时和AI工作负载。Sourcelume是AI训练数据溯源的开源工具,通过签名和注册层增强数据来源的可验证性。两者均强调社区治理和标准兼容。
延伸解读
Rust与io_uring:Iggy的低延迟设计
Iggy采用线程每核、共享无架构,并利用Linux io_uring,消除了热路径上的用户态锁、GC暂停和线程竞争。这种设计使其能在单节点上处理每秒数百万条消息和每天数百TB数据,同时保持个位数毫秒的尾延迟。对于追求可预测性能的实时和AI工作负载,Iggy提供了一种不同于传统流平台的现代选择。
Sourcelume:数据溯源的可验证性
Sourcelume并非引入新标准,而是在现有数据集描述标准之上增加签名和注册层,使元数据可独立验证。它让数据生产者能以加密签名的方式声明数据来源和使用条款,下游消费者可验证声明者身份及数据是否被篡改。这为AI训练数据的问责制提供了技术基础,但需注意签名仅代表声明,不构成对数据质量的背书。
顶级项目:社区治理的里程碑
成为Apache顶级项目意味着Iggy和Sourcelume已通过孵化器验证,拥有活跃、多元的贡献者社区和共识驱动的治理模式。这为项目提供了独立、社区治理的基础,有助于长期发展。对于用户而言,顶级项目身份通常意味着更稳定的治理和更可持续的社区支持,但技术选型仍需结合自身需求评估。
Q&A
Apache软件基金会最近宣布了哪两个新的顶级项目?
Apache软件基金会宣布Apache Iggy和Apache Sourcelume成为顶级项目。
Apache Iggy是什么?它有哪些主要特点?
Apache Iggy是一个用Rust编写的持久消息流平台,具有超低延迟、最小基础设施占用,支持TCP、QUIC、HTTP和WebSockets协议,采用线程每核、无共享架构和Linux io_uring,提供多语言SDK和可扩展连接器,基于Viewstamped Replication Revisited实现集群。
Apache Iggy的性能表现如何?
Apache Iggy可以在单节点上每秒处理数百万条消息,每天处理数百TB数据,同时保持个位数毫秒的尾部延迟。
Apache Sourcelume是什么?它解决什么问题?
Apache Sourcelume是用于AI训练数据溯源的开源工具,为数据集生产者、模型构建者和下游消费者提供共享的、供应商中立的方式来记录训练数据的来源和使用条款。它解决了当前AI训练数据缺乏文档记录的问题。
Apache Sourcelume是如何实现数据溯源的可验证性的?
Apache Sourcelume在现有数据集描述标准之上添加了证明和注册层,通过签名、发布和使元数据可独立检查,而不是引入新的词汇。
Apache孵化器在项目成为顶级项目过程中扮演什么角色?
Apache孵化器是进入ASF的入口,为孵化项目(称为podlings)提供服务和指导,帮助它们建立有韧性的社区并采用Apache之道。当项目展示出活跃、多元化的贡献者基础和独立、共识驱动的治理记录时,就会从孵化器毕业成为顶级项目。