亚马逊AWS官方博客
·
Valkey 为什么这么快？盘点 Valkey 中提升性能的黑科技
内容提要
Valkey是Amazon ElastiCache的核心引擎，作为高性能开源内存数据库，单节点吞吐量可达119万RPS，集群可扩展至2000节点。Valkey 9.0版本通过多线程I/O、RDMA和零拷贝等技术，显著提升性能，降低延迟。其五层架构和优化策略在复杂应用场景中表现优异，支持向量搜索和混合查询，简化用户体验。
关键要点
-
Valkey是Amazon ElastiCache的核心引擎，单节点吞吐量可达119万RPS，集群可扩展至2000节点。
-
Valkey 9.0版本通过多线程I/O、RDMA和零拷贝等技术显著提升性能，降低延迟。
-
Valkey的五层架构包括GLIDE客户端、网络连接层、命令处理层、数据结构与存储层、持久化与复制层。
-
多线程I/O架构允许主线程和I/O线程并发运行，提升吞吐量和降低延迟。
-
RDMA技术通过绕过CPU和操作系统内核提升网络访问速度，适用于对延迟敏感的应用场景。
-
Valkey 9.0引入的零拷贝技术减少了内存复制，提高了处理效率。
-
内存访问摊销技术通过交错执行和预取减少了内存访问延迟。
-
Valkey的每槽字典和Fenwick树优化了集群模式下的内存使用和操作效率。
-
Gossip协议用于集群节点间的信息传播，确保集群状态一致性。
-
Valkey-Search模块使用HNSW算法实现高效的向量搜索，支持混合查询优化。
延伸解读
Valkey的五层架构解析
Valkey的五层架构设计使其在性能优化上具有显著优势。每一层的独立性允许针对特定功能进行优化，例如，GLIDE客户端提供多语言支持和连接管理，而数据结构与存储层则通过缓存行优化的哈希表提升内存访问效率。这种分层设计不仅提升了吞吐量，还降低了延迟，适应了复杂应用场景的需求。
多线程I/O的优势
Valkey 9.0引入的多线程I/O架构显著提升了系统的吞吐量和响应速度。在高并发场景下，主线程与I/O线程的并发运行减少了主线程的负担，使其能够专注于命令执行。这种设计在电商大促等瞬时请求激增的情况下，能够有效避免性能瓶颈，提升用户体验。
RDMA技术的应用场景
RDMA技术在Valkey中用于降低网络延迟，尤其适合对延迟敏感的应用场景，如实时竞价广告。通过绕过CPU和操作系统内核，RDMA实现了更快的数据传输速度，尽管目前在Amazon ElastiCache中尚未全面启用，但其潜在的性能提升值得关注。
Gossip协议的集群优化
Valkey采用的Gossip协议为集群节点间的信息传播提供了高效的解决方案。通过去中心化的方式，节点能够快速达成一致，确保集群状态的实时更新。这种机制在大规模集群中尤为重要，能够有效降低管理复杂性，提高系统的稳定性和可扩展性。
延伸问答
Valkey的单节点吞吐量是多少？
Valkey的单节点吞吐量可达119万RPS。
Valkey 9.0版本引入了哪些技术来提升性能？
Valkey 9.0版本通过多线程I/O、RDMA和零拷贝等技术显著提升性能，降低延迟。
Valkey的五层架构包括哪些层次？
Valkey的五层架构包括GLIDE客户端、网络连接层、命令处理层、数据结构与存储层、持久化与复制层。
什么是RDMA技术，它在Valkey中有什么作用？
RDMA技术允许直接读写另一台机器的内存，绕过CPU和操作系统内核，从而提升网络访问速度，适用于对延迟敏感的应用场景。
Valkey如何实现零拷贝技术？
零拷贝技术通过避免不必要的内存复制，让数据直接从源位置发送到目标位置，减少CPU开销和内存带宽占用。
Valkey-Search模块使用了什么算法进行向量搜索？
Valkey-Search模块使用HNSW算法实现高效的向量搜索。
