Apache Arrow 旨在解决不同系统间的数据内存表示问题,通过定义一种与语言无关的列式内存格式,实现零拷贝共享。其内存布局包括有效性位图和数据缓冲区,支持高效分析运算。C 数据接口允许在同一进程中无拷贝传递数据,而 IPC 和 Flight 则支持跨进程和网络传输。Arrow 与 Parquet 互补,前者优化内存计算,后者优化磁盘存储。
mssql-python现在支持将SQL Server数据以Apache Arrow结构提取,提升了速度和内存效率。此功能允许在Polars、Pandas等库中无缝操作数据,避免了Python对象创建,降低了内存使用。新增的API包括cursor.arrow_batch、cursor.arrow和cursor.arrow_reader,适用于不同的数据提取需求,尤其在处理时间类型时表现突出。
Hugging Face Datasets 提供了加载数据集的简便方法,支持 CSV、Parquet 和 Arrow 格式。CSV 适合小数据集但性能较差;Parquet 适合批处理,支持压缩和快速查询;Arrow 在内存中操作,速度快,适合快速训练。选择合适的格式可以提高数据处理效率。
在过去十年中,分析型数据库和查询引擎迅速发展,但数据传输协议不匹配导致效率低下。Columnar公司推出ADBC协议,利用Apache Arrow格式提升数据传输速度,已获得400万美元种子资金,并发布首批ADBC驱动程序。
InfluxDB 3是全新构建的数据库引擎,支持无限基数和SQL查询,优化了时间序列数据处理,采用Rust和FDAP技术栈,提升了分析查询能力,旨在满足现代数据需求。
Apache Iceberg、Arrow和Polaris是数据湖屋生态系统的核心技术。Iceberg提供事务性存储,Arrow优化内存数据处理,Polaris负责元数据管理。三者结合实现高效、安全的数据存储与访问,支持多种引擎,促进开放标准和工具的互操作性。
三星推出了Galaxy Book 5 Pro和360笔记本,搭载Arrow Lake处理器,增强了AI功能,包括AI选择应用和照片重修工具。新款提供14和16英寸AMOLED屏幕,续航最长可达31小时,支持Wi-Fi 7和Thunderbolt 4接口,预计明年2月上市。
英特尔新款Arrow Lake CPU于十月发布,承诺高性能低功耗,但游戏表现不佳。公司已逐步推出更新,解决了四个主要问题,包括处理器电源管理更新延迟。部分问题已在Windows 11中修复,Epic Games也解决了与Easy Anti-Cheat的兼容性问题。
DuckDB是一款高效的SQL OLAP数据库,支持本地和远程数据处理。结合Apache Arrow和Arrow Flight RPC,可以实现远程访问,提升性能和可扩展性。本文介绍了如何搭建DuckDB的远程连接,并使用Python和Streamlit构建用户界面,以便用户执行SQL查询并展示结果。
英特尔的新Arrow Lake系列处理器在游戏性能上表现不佳,未能超越AMD的产品。英特尔副总裁霍洛克承认这是公司的责任,并预计将在11月底或12月初提供简单的修复方案。
英特尔发布了FFmpeg Cartwheel 2024Q3版本,支持Lunar Lake和Arrow Lake平台,集成新的视频加速补丁,增强了HEVC和AV1编码的支持,旨在提升Windows和Linux用户的体验。
Arroyo 0.10是一个基于Apache Arrow和DataFusion构建的新型SQL引擎,提供了改进的性能、简化的架构和与其他数据系统的无缝集成。与Arroyo 0.9相比,Arroyo 0.10在吞吐量、管道启动速度和Docker镜像大小方面都有显著改进。文章还讨论了Arroyo的灵感来源、选择Rust作为编程语言以及添加SQL功能的决策。文章最后解释了列式表示和批处理在流引擎中的优势。
绿盟科技CERT监测发现Apache Arrow发布安全通告,修复了PyArrow库中的一个任意代码执行漏洞(CVE-2023-47248)。攻击者可通过构造恶意数据包,在目标系统上实现任意代码执行。受影响版本为0.14.0 <= Apache Arrow PyArrow <= 14.0.0,官方已发布新版本,请尽快升级。若无法升级,可使用官方提供的“pyarrow-hotfix”软件包禁用漏洞。
Apache Spark 3.5和Databricks Runtime 14.0引入了Arrow优化的Python UDF,以提高性能。Arrow优化的Python UDF使用Apache Arrow进行序列化和反序列化,从而实现JVM和Python进程之间更快的数据交换。用户可以控制是否为单个UDF或整个SparkSession启用Arrow优化。与Pickle相比,Arrow的类型强制转换旨在在转换过程中尽可能保留更多的信息和精度。
完成下面两步后,将自动完成登录并继续当前操作。