小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI
在mssql-python中引入Apache Arrow支持

mssql-python现在支持将SQL Server数据以Apache Arrow结构提取,提升了速度和内存效率。此功能允许在Polars、Pandas等库中无缝操作数据,避免了Python对象创建,降低了内存使用。新增的API包括cursor.arrow_batch、cursor.arrow和cursor.arrow_reader,适用于不同的数据提取需求,尤其在处理时间类型时表现突出。

在mssql-python中引入Apache Arrow支持

Python
Python · 2026-05-04T04:33:00Z
CSV、Parquet 和 Arrow:存储格式解析

Hugging Face Datasets 提供了加载数据集的简便方法,支持 CSV、Parquet 和 Arrow 格式。CSV 适合小数据集但性能较差;Parquet 适合批处理,支持压缩和快速查询;Arrow 在内存中操作,速度快,适合快速训练。选择合适的格式可以提高数据处理效率。

CSV、Parquet 和 Arrow:存储格式解析

KDnuggets
KDnuggets · 2026-01-13T15:00:55Z
Apache Arrow的最终前沿:替换过时的数据库驱动程序

在过去十年中,分析型数据库和查询引擎迅速发展,但数据传输协议不匹配导致效率低下。Columnar公司推出ADBC协议,利用Apache Arrow格式提升数据传输速度,已获得400万美元种子资金,并发布首批ADBC驱动程序。

Apache Arrow的最终前沿:替换过时的数据库驱动程序

The New Stack
The New Stack · 2025-11-03T17:00:12Z
使用开源技术构建时间序列数据库:在Apache Arrow和Rust中重建InfluxDB 3

InfluxDB 3是全新构建的数据库引擎,支持无限基数和SQL查询,优化了时间序列数据处理,采用Rust和FDAP技术栈,提升了分析查询能力,旨在满足现代数据需求。

使用开源技术构建时间序列数据库:在Apache Arrow和Rust中重建InfluxDB 3

InfoQ
InfoQ · 2025-09-10T09:00:00Z
数据工程概念介绍 |17| Apache Iceberg、Arrow 和 Polaris

Apache Iceberg、Arrow和Polaris是数据湖屋生态系统的核心技术。Iceberg提供事务性存储,Arrow优化内存数据处理,Polaris负责元数据管理。三者结合实现高效、安全的数据存储与访问,支持多种引擎,促进开放标准和工具的互操作性。

数据工程概念介绍 |17| Apache Iceberg、Arrow 和 Polaris

DEV Community
DEV Community · 2025-05-02T19:59:57Z
三星Galaxy Book 5笔记本电脑升级至Arrow Lake处理器

三星推出了Galaxy Book 5 Pro和360笔记本,搭载Arrow Lake处理器,增强了AI功能,包括AI选择应用和照片重修工具。新款提供14和16英寸AMOLED屏幕,续航最长可达31小时,支持Wi-Fi 7和Thunderbolt 4接口,预计明年2月上市。

三星Galaxy Book 5笔记本电脑升级至Arrow Lake处理器

The Verge
The Verge · 2025-01-06T16:26:03Z
英特尔概述了Arrow Lake CPU的性能修复

英特尔新款Arrow Lake CPU于十月发布,承诺高性能低功耗,但游戏表现不佳。公司已逐步推出更新,解决了四个主要问题,包括处理器电源管理更新延迟。部分问题已在Windows 11中修复,Epic Games也解决了与Easy Anti-Cheat的兼容性问题。

英特尔概述了Arrow Lake CPU的性能修复

The Verge
The Verge · 2024-12-18T23:32:27Z
随时随地解锁DuckDB - 使用Apache Arrow和Flight RPC (gRPC) 的远程访问指南

DuckDB是一款高效的SQL OLAP数据库,支持本地和远程数据处理。结合Apache Arrow和Arrow Flight RPC,可以实现远程访问,提升性能和可扩展性。本文介绍了如何搭建DuckDB的远程连接,并使用Python和Streamlit构建用户界面,以便用户执行SQL查询并展示结果。

随时随地解锁DuckDB - 使用Apache Arrow和Flight RPC (gRPC) 的远程访问指南

DEV Community
DEV Community · 2024-12-12T11:29:54Z
英特尔高管表示Arrow Lake发布‘完全没有按计划进行’

英特尔的新Arrow Lake系列处理器在游戏性能上表现不佳,未能超越AMD的产品。英特尔副总裁霍洛克承认这是公司的责任,并预计将在11月底或12月初提供简单的修复方案。

英特尔高管表示Arrow Lake发布‘完全没有按计划进行’

The Verge
The Verge · 2024-11-09T20:46:02Z
英特尔 FFmpeg Cartwheel 2024Q3 支持 Lunar Lake 和 Arrow Lake

英特尔发布了FFmpeg Cartwheel 2024Q3版本,支持Lunar Lake和Arrow Lake平台,集成新的视频加速补丁,增强了HEVC和AV1编码的支持,旨在提升Windows和Linux用户的体验。

英特尔 FFmpeg Cartwheel 2024Q3 支持 Lunar Lake 和 Arrow Lake

实时互动网
实时互动网 · 2024-10-28T10:36:08Z

Arroyo 0.10是一个基于Apache Arrow和DataFusion构建的新型SQL引擎,提供了改进的性能、简化的架构和与其他数据系统的无缝集成。与Arroyo 0.9相比,Arroyo 0.10在吞吐量、管道启动速度和Docker镜像大小方面都有显著改进。文章还讨论了Arroyo的灵感来源、选择Rust作为编程语言以及添加SQL功能的决策。文章最后解释了列式表示和批处理在流引擎中的优势。

Arroyo:基于Arrow和DataFusion的新SQL引擎

极道
极道 · 2024-03-19T23:57:00Z

绿盟科技CERT监测发现Apache Arrow发布安全通告,修复了PyArrow库中的一个任意代码执行漏洞(CVE-2023-47248)。攻击者可通过构造恶意数据包,在目标系统上实现任意代码执行。受影响版本为0.14.0 <= Apache Arrow PyArrow <= 14.0.0,官方已发布新版本,请尽快升级。若无法升级,可使用官方提供的“pyarrow-hotfix”软件包禁用漏洞。

Apache Arrow PyArrow任意代码执行漏洞(CVE-2023-47248)通告

绿盟科技技术博客
绿盟科技技术博客 · 2023-11-14T08:28:00Z
Apache Spark™ 3.5中的Arrow优化Python UDF

Apache Spark 3.5和Databricks Runtime 14.0引入了Arrow优化的Python UDF,以提高性能。Arrow优化的Python UDF使用Apache Arrow进行序列化和反序列化,从而实现JVM和Python进程之间更快的数据交换。用户可以控制是否为单个UDF或整个SparkSession启用Arrow优化。与Pickle相比,Arrow的类型强制转换旨在在转换过程中尽可能保留更多的信息和精度。

Apache Spark™ 3.5中的Arrow优化Python UDF

Databricks
Databricks · 2023-11-06T09:29:22Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码