By Prashanth Gedde NarayanaswamyAs one of Netflix’s largest and critical data pipelines, member-sessionizer consolidates tens of billions of hourly client events, encompassing user taps,...
Apache软件基金会宣布Auron、Reqsign和ResilientDB成为顶级项目。Auron是大数据查询引擎加速器,性能比Spark 3.5快两倍且节省50%资源;Reqsign用Rust实现云服务HTTP请求签名;ResilientDB是拜占庭容错区块链框架。
Apache Subversion 发布 1.15 版,核心新功能 Pristines On Demand 允许用户不本地缓存原始文件,改按需从服务器获取,可将本地存储占用减少最多 50%,代价是增加网络通信。该功能适合管理 TB 级仓库和 GB 级大文件的用户,体现 Subversion 在集中式版本控制和大文件管理上的持续优势。
在Windows上配置PHP服务器需要安装PHP、MySQL、Apache或Nginx,设置环境变量并修改配置文件以确保兼容性。还需安装Composer和Redis,配置SSL和HTTP2,最后可使用phpMyAdmin管理数据库。
Atlassian团队用Kafka、Flink和OpenTelemetry重建自动事件检测平台AutoHOT,将事件到指标延迟从40秒降至10秒内,月成本从2万美元降至650美元。检测召回率从60%升至86%后回落至64%,精确率仍不理想。关键教训:召回率反映检测器质量,覆盖率取决于埋点选择,二者不可混淆;客户端遥测无法发现数据库宕机等沉默故障。
Amazon S3表类数据存储服务现已支持Apache Iceberg V3全部数据类型,包括变体、纳秒时间戳、几何、地理位置和未知类型,以及删除向量和行谱系。用户可新建V3表或从V2升级,升级不可逆。V3以删除向量替代位置删除文件,提升行级操作效率,并原生支持半结构化和地理空间数据。新数据类型需Spark 4.0以上引擎,且仅支持Parquet格式。该功能已在所有支持区域推出,不额外收费。
作者借助LLM,仅用12天、629次提交,将Apache Cloudberry(Greenplum的开源延续)移植为PostgreSQL 19扩展而非分支,移植了约93%的数据库代码,59%的原测试通过。核心仅22个小补丁,未加载扩展时行为与原生PG 19一致。ORCA优化器原样复用,TPC-H和TPC-DS全部121条查询均由ORCA规划,比回退方案快3-4倍。
实测对比 Iceberg 与 Hive 表格式:Iceberg 的优势在于规划期元数据裁剪、ACID 快照隔离、行级更新、隐藏分区和多引擎并发。但在 TPC-DS 3TB 测试中 Iceberg 反而慢 11.9%,原因是查询谓词落在维表、数据无排序、每分区仅一个文件,三个前提全部缺失。Iceberg 真正更快的场景是分区数极大、单分区文件多、按排序键过滤,节省的是 S3 请求与元数据往返,而非扫描字节。
Lyft has moved hundreds of production Flink jobs from a 2020 in-house Kubernetes operator to the Apache Flink Kubernetes Operator, unlocking last-state upgrades, in-place autoscaling and resource...
Databricks Runtime 18 推出按需状态重分区功能,允许有状态流查询在不丢失检查点状态的情况下调整分区数。此前分区数在创建检查点时固定,修改无效,只能重建状态。新功能通过停止、设置 spark.sql.streaming.stateStore.partitions 并重启,安全地重新分配状态,适用于聚合、连接、去重等场景,Coveo 借此将 S3 API 成本降低 40%。
2026年8月,Apache软件基金会与Anthropic的Project Glasswing合作,对230个仓库进行了AI安全扫描。扫描基于项目威胁模型,减少了误报并附有补丁。结果通过官方渠道披露,修复正在进行中。未来计划实现增量扫描和自助服务,以应对AI漏洞报告激增的问题。
Apache软件基金会发布2026财年报告,宣布Fluss、Pony Mail、Iggy和Sourcelume等项目晋升为顶级项目。Geode 2.0完成现代化升级。基金会迎来第10,000名提交者,目前共有302个项目,并强调开源可持续性与工具改进。同时公布了社区活动与会议安排。
Apache软件基金会发布2026财年年度报告,强调投资于人员、基础设施和标准以应对开源软件日益增长的需求。报告亮点包括达到第10000名提交者、开发可信发布基础设施及启动负责任AI计划,彰显“社区重于代码”的理念。报告已可下载。
Apache软件基金会宣布将于2026年10月11日至14日在苏格兰格拉斯哥举办Community Over Code大会,并公布三位主讲人,主题涵盖开源教育、生态可持续性和游戏产业。大会还包括Airflow贡献者日和湖仓日,注册已开放,普通参会者费用为750美元,ASF提交者费用为250美元。
IntelliJ IDEA的Grails插件已迁移至Apache Grails项目,由Apache软件基金会接管源码和开发。插件现由Grails团队维护,更新节奏与框架路线图同步,无需用户迁移。从2026.2起不再默认捆绑,需从Marketplace安装。JetBrains将继续合作并提供平台支持。
Apache软件基金会宣布Apache Iggy和Apache Sourcelume成为顶级项目。Iggy是基于Rust的高效持久消息流平台,支持多协议,低延迟,适合实时和AI工作负载。Sourcelume是AI训练数据溯源的开源工具,通过签名和注册层增强数据来源的可验证性。两者均强调社区治理和标准兼容。
In this article, author Srikanth Mamidala discusses the data lake architecture used for analytics, reporting, and machine learning and shows how to manage the consumer lag metrics when using Kafka...
AWS Glue 6.0发布,价格降低30%,全面支持Apache Iceberg v3,基于Spark 4.1、Python 3.12构建。新增VARIANT数据类型、几何地理类型、纳秒时间戳等功能,提升半结构化数据处理和PySpark性能,支持毫秒级实时流处理。用户可通过现有API或控制台直接使用,无需更改代码。
Apache Geode 2.0发布,强调现代化改造中的关键经验:依赖顺序、测试先行、分步推进。向后兼容有极限,需通过文档和社区沟通管理变更。项目成功依赖社区参与,贡献形式多样,未来由参与者共同塑造。
Apache软件基金会宣布Apache Fluss和Apache Pony Mail成为顶级项目。Fluss是湖仓原生流式存储系统,支持实时分析与AI,整合流数据和历史数据,已在阿里核心生产环境验证。Pony Mail是可扩展的邮件归档浏览器,支持数百万邮件及高并发访问。两者均体现开源社区协作治理。
完成下面两步后,将自动完成登录并继续当前操作。