小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI

Apache Arrow 旨在解决不同系统间的数据内存表示问题,通过定义一种与语言无关的列式内存格式,实现零拷贝共享。其内存布局包括有效性位图和数据缓冲区,支持高效分析运算。C 数据接口允许在同一进程中无拷贝传递数据,而 IPC 和 Flight 则支持跨进程和网络传输。Arrow 与 Parquet 互补,前者优化内存计算,后者优化磁盘存储。

【数据湖与开放表格式】Apache Arrow 内存格式与零拷贝

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-06-30T00:00:00Z

文章讨论了基于 Git 的零拷贝静态 Web 服务器的构想,分析了 Git 的内部结构、压缩机制及其松散对象和包文件的存储方式。作者指出了 zlib 和 gzip 格式的兼容性问题及差分存储的影响,并通过配置 Git 实现了零拷贝的目标,分享了实验结果。

基于 git 的零拷贝静态web服务器

Est's Blog
Est's Blog · 2026-06-10T15:21:00Z

FlowDB 是一款高性能的嵌入式时序存储引擎,基于 Rust 构建,专为时序数据和日志负载优化。它采用无锁序列号分配、锁外 WAL 预编码和双态 MemTable 设计,支持零拷贝写入和 TTL 机制,适合批量过期场景。提供 HTTP 和 UDP 协议,内置 Prometheus 指标,性能优于 RocksDB。

FlowDB: 性能超过RocksDB的时序数据库

Rust.cc
Rust.cc · 2026-06-02T13:39:04Z

本文介绍了Linux中的零拷贝技术,包括splice、tee、vmsplice和sendfile等API。splice通过内核直接传输数据,避免用户态缓冲区,提高效率;tee用于日志分流;vmsplice将用户内存传输到pipe,但存在安全隐患;sendfile用于文件到socket的直接传输。此外,提到Dirty Pipe漏洞及其修复,强调pipe buffer标志管理的重要性。

【操作系统百科】splice/tee/vmsplice

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-05-22T00:00:00Z

零拷贝技术旨在提高数据传输效率,减少内核与用户空间之间的数据拷贝。通过系统调用如sendfile和splice,零拷贝可以直接在内核缓冲区中传输数据,降低CPU负担。适用于静态文件服务和高并发网络应用,但在修改数据或小文件传输时效果不佳。选择合适的技术需根据具体应用场景和性能需求。

【系统架构设计】零拷贝与内存映射:数据搬运的极致优化

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-04-13T00:00:00Z
【音视频】内存管理系统

本文介绍了一位海外工程师对安卓音视频技术的探索,重点讲解内存管理系统的核心概念,如内存分配、引用计数和零拷贝,适合音视频技术入门者学习。

【音视频】内存管理系统

实时互动网
实时互动网 · 2025-12-24T06:29:39Z
Go语言零拷贝技术完全指南

零拷贝技术通过减少数据复制显著提升I/O性能。本文探讨其原理、Go语言实现及性能对比,强调在流式传输、切片操作和大文件读取中的应用。使用io.CopyBuffer和mmap可优化性能,但需权衡代码可读性与维护成本。

Go语言零拷贝技术完全指南

郑文峰的博客
郑文峰的博客 · 2025-06-14T11:42:51Z
高效地拆分文本文件的Java方法

在处理大文本文件时,传统Java代码效率低,频繁内存分配和数据复制。建议使用零拷贝技术,通过FileChannel的transferTo方法直接进行磁盘间传输,确保行完整性。该方法在处理短行日志文件时表现优异,显著提升处理速度。

高效地拆分文本文件的Java方法

DEV Community
DEV Community · 2025-05-09T14:27:43Z
Kafka如何实现高吞吐量:其日志中心架构的解析

Kafka通过日志存储、操作系统优化和减少读写协调,实现每秒处理数百万条消息。其设计特点包括追加日志存储、顺序I/O、轻量索引、批处理和零拷贝数据传输,以确保高效性能和长期数据保留。

Kafka如何实现高吞吐量:其日志中心架构的解析

DEV Community
DEV Community · 2025-04-20T05:14:20Z
最大化网络性能:Go语言中的零拷贝I/O技术

零拷贝I/O技术通过消除内核与用户空间之间的数据复制,显著提高网络编程性能,减少CPU和内存开销。Go语言内置支持该技术,开发者可利用系统调用如sendfile(),结合有效的错误处理和内存管理,提升应用的可扩展性和效率。

最大化网络性能:Go语言中的零拷贝I/O技术

DEV Community
DEV Community · 2025-03-05T09:08:39Z
深入了解 `java.lang.String`:理解与优化实例化性能

Java 9引入了紧凑字符串特性,使用8位字节数组替代16位字符数组,提升了字符串性能。通过Apache Fury的StringSerializer,可以实现零拷贝字符串实例化,进一步提高性能。使用Java 9及以上版本可获得更佳的字符串实例化性能。

深入了解 `java.lang.String`:理解与优化实例化性能

DEV Community
DEV Community · 2024-12-08T14:09:33Z

本文介绍了在Go语言中通过TCP实现快速静态文件传输的方法,包括零拷贝文件传输、异步文件传输和提高用户界面感知速度。这些方法可以提高应用程序性能,处理高流量和大文件。

通过TCP加速你的Go应用:掌握极速静态文件传输技巧

DEV Community
DEV Community · 2024-09-08T17:20:17Z

Fury是阿里支付的快速多语言序列化框架,通过jit和零拷贝提供高性能支持,速度提升高达170倍。它支持常见的序列化操作,如位图操作、数字编码/解码、压缩、字符串创建/复制、字符串编码等。Fury利用JIT动态编译加速和静态代码生成来提高性能,实现了缓存优化和零拷贝支持。对于Java序列化,Fury具有极快的性能、100% JDK序列化API兼容性和类型向前/向后兼容性,同时支持元数据共享和零拷贝。

fury:由jit和零拷贝支持的超快序列化框架

极道
极道 · 2023-08-01T23:22:00Z

sendfile(2)是UNIX系统调用,提供高效的零拷贝数据传输方式,避免了用户空间的性能损失。Python的socket模块新增了socket.sendfile()方法,利用sendfile(2)实现文件传输,速度通常是socket.send()的两倍。该方法将在Python 3.5中引入,适用于FTP和HTTP服务器。

Python与sendfile

Giampaolo Rodola
Giampaolo Rodola · 2014-06-12T22:00:00Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码