小红花·文摘
  • 首页
  • AI Tokens🪙
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI

Apache Arrow 旨在解决不同系统间的数据内存表示问题,通过定义一种与语言无关的列式内存格式,实现零拷贝共享。其内存布局包括有效性位图和数据缓冲区,支持高效分析运算。C 数据接口允许在同一进程中无拷贝传递数据,而 IPC 和 Flight 则支持跨进程和网络传输。Arrow 与 Parquet 互补,前者优化内存计算,后者优化磁盘存储。

【数据湖与开放表格式】Apache Arrow 内存格式与零拷贝

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-06-30T00:00:00Z
在mssql-python中引入Apache Arrow支持

mssql-python现在支持将SQL Server数据以Apache Arrow结构提取,提升了速度和内存效率。此功能允许在Polars、Pandas等库中无缝操作数据,避免了Python对象创建,降低了内存使用。新增的API包括cursor.arrow_batch、cursor.arrow和cursor.arrow_reader,适用于不同的数据提取需求,尤其在处理时间类型时表现突出。

在mssql-python中引入Apache Arrow支持

Python Python · 2026-05-04T04:33:00Z
CSV、Parquet 和 Arrow:存储格式解析

Hugging Face Datasets 提供了加载数据集的简便方法,支持 CSV、Parquet 和 Arrow 格式。CSV 适合小数据集但性能较差;Parquet 适合批处理,支持压缩和快速查询;Arrow 在内存中操作,速度快,适合快速训练。选择合适的格式可以提高数据处理效率。

CSV、Parquet 和 Arrow:存储格式解析

KDnuggets KDnuggets · 2026-01-13T15:00:55Z
Apache Arrow的最终前沿:替换过时的数据库驱动程序

在过去十年中,分析型数据库和查询引擎迅速发展,但数据传输协议不匹配导致效率低下。Columnar公司推出ADBC协议,利用Apache Arrow格式提升数据传输速度,已获得400万美元种子资金,并发布首批ADBC驱动程序。

Apache Arrow的最终前沿:替换过时的数据库驱动程序

The New Stack The New Stack · 2025-11-03T17:00:12Z
使用开源技术构建时间序列数据库:在Apache Arrow和Rust中重建InfluxDB 3

InfluxDB 3是全新构建的数据库引擎,支持无限基数和SQL查询,优化了时间序列数据处理,采用Rust和FDAP技术栈,提升了分析查询能力,旨在满足现代数据需求。

使用开源技术构建时间序列数据库:在Apache Arrow和Rust中重建InfluxDB 3

InfoQ InfoQ · 2025-09-10T09:00:00Z
数据工程概念介绍 |17| Apache Iceberg、Arrow 和 Polaris

Apache Iceberg、Arrow和Polaris是数据湖屋生态系统的核心技术。Iceberg提供事务性存储,Arrow优化内存数据处理,Polaris负责元数据管理。三者结合实现高效、安全的数据存储与访问,支持多种引擎,促进开放标准和工具的互操作性。

数据工程概念介绍 |17| Apache Iceberg、Arrow 和 Polaris

DEV Community DEV Community · 2025-05-02T19:59:57Z
三星Galaxy Book 5笔记本电脑升级至Arrow Lake处理器

三星推出了Galaxy Book 5 Pro和360笔记本,搭载Arrow Lake处理器,增强了AI功能,包括AI选择应用和照片重修工具。新款提供14和16英寸AMOLED屏幕,续航最长可达31小时,支持Wi-Fi 7和Thunderbolt 4接口,预计明年2月上市。

三星Galaxy Book 5笔记本电脑升级至Arrow Lake处理器

The Verge The Verge · 2025-01-06T16:26:03Z
英特尔概述了Arrow Lake CPU的性能修复

英特尔新款Arrow Lake CPU于十月发布,承诺高性能低功耗,但游戏表现不佳。公司已逐步推出更新,解决了四个主要问题,包括处理器电源管理更新延迟。部分问题已在Windows 11中修复,Epic Games也解决了与Easy Anti-Cheat的兼容性问题。

英特尔概述了Arrow Lake CPU的性能修复

The Verge The Verge · 2024-12-18T23:32:27Z
随时随地解锁DuckDB - 使用Apache Arrow和Flight RPC (gRPC) 的远程访问指南

DuckDB是一款高效的SQL OLAP数据库,支持本地和远程数据处理。结合Apache Arrow和Arrow Flight RPC,可以实现远程访问,提升性能和可扩展性。本文介绍了如何搭建DuckDB的远程连接,并使用Python和Streamlit构建用户界面,以便用户执行SQL查询并展示结果。

随时随地解锁DuckDB - 使用Apache Arrow和Flight RPC (gRPC) 的远程访问指南

DEV Community DEV Community · 2024-12-12T11:29:54Z
英特尔高管表示Arrow Lake发布‘完全没有按计划进行’

英特尔的新Arrow Lake系列处理器在游戏性能上表现不佳,未能超越AMD的产品。英特尔副总裁霍洛克承认这是公司的责任,并预计将在11月底或12月初提供简单的修复方案。

英特尔高管表示Arrow Lake发布‘完全没有按计划进行’

The Verge The Verge · 2024-11-09T20:46:02Z
英特尔 FFmpeg Cartwheel 2024Q3 支持 Lunar Lake 和 Arrow Lake

英特尔发布了FFmpeg Cartwheel 2024Q3版本,支持Lunar Lake和Arrow Lake平台,集成新的视频加速补丁,增强了HEVC和AV1编码的支持,旨在提升Windows和Linux用户的体验。

英特尔 FFmpeg Cartwheel 2024Q3 支持 Lunar Lake 和 Arrow Lake

实时互动网 实时互动网 · 2024-10-28T10:36:08Z

Arroyo 0.10是一个基于Apache Arrow和DataFusion构建的新型SQL引擎,提供了改进的性能、简化的架构和与其他数据系统的无缝集成。与Arroyo 0.9相比,Arroyo 0.10在吞吐量、管道启动速度和Docker镜像大小方面都有显著改进。文章还讨论了Arroyo的灵感来源、选择Rust作为编程语言以及添加SQL功能的决策。文章最后解释了列式表示和批处理在流引擎中的优势。

Arroyo:基于Arrow和DataFusion的新SQL引擎

极道 极道 · 2024-03-19T23:57:00Z

绿盟科技CERT监测发现Apache Arrow发布安全通告,修复了PyArrow库中的一个任意代码执行漏洞(CVE-2023-47248)。攻击者可通过构造恶意数据包,在目标系统上实现任意代码执行。受影响版本为0.14.0 <= Apache Arrow PyArrow <= 14.0.0,官方已发布新版本,请尽快升级。若无法升级,可使用官方提供的“pyarrow-hotfix”软件包禁用漏洞。

Apache Arrow PyArrow任意代码执行漏洞(CVE-2023-47248)通告

绿盟科技技术博客 绿盟科技技术博客 · 2023-11-14T08:28:00Z
Apache Spark™ 3.5中的Arrow优化Python UDF

Apache Spark 3.5和Databricks Runtime 14.0引入了Arrow优化的Python UDF,以提高性能。Arrow优化的Python UDF使用Apache Arrow进行序列化和反序列化,从而实现JVM和Python进程之间更快的数据交换。用户可以控制是否为单个UDF或整个SparkSession启用Arrow优化。与Pickle相比,Arrow的类型强制转换旨在在转换过程中尽可能保留更多的信息和精度。

Apache Spark™ 3.5中的Arrow优化Python UDF

Databricks Databricks · 2023-11-06T09:29:22Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 1tok 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator 模力方舟 Gitee AI

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码