小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI
两个修复大幅减少TiKV在SST文件导入中的写入停滞

TiKV是一个开源的分布式事务键值数据库。为了解决写延迟问题,TiKV通过优化MemTable重叠处理和支持并发写入,显著提升了高负载下的写入性能,降低了延迟,同时确保了数据的一致性和稳定性。

两个修复大幅减少TiKV在SST文件导入中的写入停滞

The New Stack
The New Stack · 2025-10-24T18:00:13Z
TiKV Raft Store 内存管理的原理与实现丨TiKV 源码解读(二十三)

内存管理是数据库系统的核心问题,直接影响性能和稳定性。TiKV作为分布式数据库,重视内存管理,特别是在Raft Store模块。文章探讨了TiKV的内存消耗来源,包括Storage、Coprocessor和Raft Store,并分析了写请求在Raft Store的处理步骤,强调了内存管理的重要性。

TiKV Raft Store 内存管理的原理与实现丨TiKV 源码解读(二十三)

TiDB_PingCAP 的博客
TiDB_PingCAP 的博客 · 2024-11-25T08:58:30Z

JuiceFS的元数据引擎支持MVCC和GC机制,MVCC通过时间戳区分版本,GC用于清理旧版本。TiKV支持被动GC和半主动GC两种方式。JuiceFS客户端可定期更新PD中的gc safepoint来触发TiKV的GC操作。建议设置较小的GC间隔并由管理员定期进行GC操作,以避免TiKV的DB size暴增和region split失败。

JuiceFS 元数据引擎三探:从实践中学习 TiKV 的 MVCC 和 GC(2024)

ARTHURCHIAO'S BLOG
ARTHURCHIAO'S BLOG · 2024-09-22T00:00:00Z

本文介绍了JuiceFS元数据引擎在TiKV中的工作原理,包括创建JuiceFS volume、查看元数据、挂载和文件操作。元数据经过编码存储在TiKV中的不同region。JuiceFS还支持限速和配置变化监听。

JuiceFS 元数据引擎再探:开箱解读 TiKV 中的 JuiceFS 元数据(2024)

ARTHURCHIAO'S BLOG
ARTHURCHIAO'S BLOG · 2024-09-12T00:00:00Z
TiKV TSO 时间戳 - 在线转换工具

TiKV TSO是TiDB实现分布式事务的基石,由physical time和logical time组成。可以使用在线转换工具将TSO转换为现实时间。

TiKV TSO 时间戳 - 在线转换工具

Steins;Lab
Steins;Lab · 2024-08-31T10:32:37Z

TiKV是一个支持事务的分布式Key-Value数据库,通过Raft协议实现数据的高可用性和强一致性。本文详细介绍了TiKV中Raft快照的生成、发送、接收和应用的实现。快照发送和接收机制通过gRPC流连接进行高效传输。快照生成过程在单独的线程池中进行,以避免阻塞其他任务。快照应用通过更新Raft状态机和RocksDB数据来保证数据一致性。

TiKV Raft 快照全流程丨TiKV 源码解读(二十二)

TiDB_PingCAP 的博客
TiDB_PingCAP 的博客 · 2024-08-04T08:56:34Z
记一次 tikv-client 性能分析: tso 单点问题

本文讨论了使用tikv-client构建元数据服务时遇到的性能问题,分析了单点延迟和tso获取延迟较大的问题,并提出了解决方案,包括扩容tikv-client实例、升级版本、调整配置等。同时,还提到了关于tikv和pd的性能优化建议。

记一次 tikv-client 性能分析: tso 单点问题

Steins;Lab
Steins;Lab · 2024-03-31T13:26:07Z

TiKV推出了名为partitioned-raft-kv的新实验性功能,每个Region都有自己的RocksDB实例,可以提高TiDB的可扩展性和性能稳定性,但需要额外的内存开销。

TiKV 新架构:Partitioned Raft KV 原理解析

TiDB_PingCAP 的博客
TiDB_PingCAP 的博客 · 2023-05-16T13:58:00Z

我们需要定义完整是什么。在这里,“完整”的主体是 TiDB 中的事务,我们知道 TiDB 的事务会有两个写入事件,第一个是 prewrite,第二是 commit 或者 rollback。同时,TiDB 事务可能会涉及多个 key,这些有可能分布在不同的 region 上。所以,我们说“完整”地捕捉一个事务需要捕捉它涉及的所有的 key和所有的写入事件。上图描绘了一个涉及了三个 key...

TiCDC 源码阅读(二)TiKV CDC 模块介绍

TiDB_PingCAP 的博客
TiDB_PingCAP 的博客 · 2023-01-04T13:34:42Z

本篇博客介绍了 TiKV 中一条写请求的全链路流程。希望本博客能够帮助对 TiKV 开发感兴趣的新同学尽快了解 TiKV 的 codebase。

TiKV 源码阅读三部曲(三)写流程

TiDB_PingCAP 的博客
TiDB_PingCAP 的博客 · 2022-11-16T06:30:17Z

本篇博客介绍了 TiKV 中一条读请求的全链路流程。希望本博客能够帮助对 TiKV 开发感兴趣的新同学尽快了解 TiKV 的 codebase。

TiKV 源码阅读三部曲(二)读流程

TiDB_PingCAP 的博客
TiDB_PingCAP 的博客 · 2022-10-27T03:39:06Z

本篇博客介绍了 TiKV 的基本概念,TiKV 读写路径上的三个重要模块(KVService,Storage,RaftStore)和断点调试 TiKV 学习源码的方案希望本博客能够帮助对 TiKV 开发感兴趣的新同学尽快了解 TiKV 的 codebase。

TiKV 源码阅读三部曲(一)重要模块

TiDB_PingCAP 的博客
TiDB_PingCAP 的博客 · 2022-10-18T08:18:19Z

背景TiKV 是一个支持事务的分布式 Key-Value

TiKV 源码阅读三部曲(三)写流程

谭新宇的博客
谭新宇的博客 · 2022-10-05T10:37:12Z

背景TiKV 是一个支持事务的分布式 Key-Value

TiKV 源码阅读三部曲(二)读流程

谭新宇的博客
谭新宇的博客 · 2022-10-05T09:37:12Z

背景TiKV 是一个支持事务的分布式 Key-Value

TiKV 源码阅读三部曲(一)重要模块

谭新宇的博客
谭新宇的博客 · 2022-10-05T08:37:12Z

使用 TiKV 和 TiFlash 可以加速复杂查询,下面简单增加了使用使用场景。组件适用场景说明TiKV检索条件固定,且有索引TiFlash检索条件不固定,无法加索引部分表检索条件不固定,部分表有索引如果有描述不当的地方欢迎评论指正!...

TiKV & TiFlash 加速复杂业务查询丨TiFlash 应用实践

TiDB_PingCAP 的博客
TiDB_PingCAP 的博客 · 2022-08-03T02:57:29Z

分裂可以说是 Region 生命周期中最为重要的一步,如同细胞一般,分裂是 Region 被创造并持续增多的唯一方式。 本文将介绍以下内容: Region Split 是由谁触发的。 Region Split 是如何计算 Split Key 的。 Region Split 最终是如何执行的。 我们先来看一个 Region Split 过程的大致流程: TiKV/PD/TiDB 触发...

TiKV Region Split 全流程分析

iPotato
iPotato · 2022-05-26T09:00:32Z
TiKV Region Split 全流程分析

Region 分裂是 TiKV 中的重要生命周期步骤,由 TiKV、PD 和 TiDB 触发。分裂过程包括计算分裂键和执行分裂,可能由内部机制(如大小超阈值)或人工手段(如建表)触发。分裂键的计算方式包括扫描和指定键,分裂后会创建新的 Region 并更新状态,以确保数据的均衡和一致性。

TiKV Region Split 全流程分析

iPotato
iPotato · 2022-05-26T09:00:32Z
TiKV Region Split 全流程分析

Region Split 是 TiKV 中的重要过程,涉及 Region 的创建和扩展。分裂可以由内部机制或人工触发,主要通过 TiKV、PD 和 TiDB 进行。分裂过程包括计算 Split Key 和执行分裂,TiKV 定期检查 Region 大小以决定是否分裂,PD 和 TiDB 也可通过 API 触发分裂。分裂的执行依赖于 Raftstore,以确保数据一致性。

TiKV Region Split 全流程分析

iPotato
iPotato · 2022-05-26T09:00:32Z

这个周末我为tikv/pd提交了一个PR,修复了go.mod中错误的replace用法,将其改为require,以确保bbolt版本符合要求,避免潜在问题。

2021-24: 避免 go.mod 中写 replace

Xuanwo's Blog
Xuanwo's Blog · 2021-06-22T01:00:00Z
  • <<
  • <
  • 1 (current)
  • 2
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码