小红花·文摘
  • 首页
  • AI Tokens🪙
  • 排行榜🏆
  • 直播
  • FAQ
服务端转码不求人:写 FFmpeg 分布式转码 + GOP 切片 + 缩略图

本文介绍用Claude Code构建生产级视频转码管线,涵盖多码率HLS、GOP对齐、缩略图生成、并发控制及资源限制。提供单机Worker脚本和分布式改造方案,包括Redis队列、心跳上报、失败重试。最后列出优化清单,如preset调整、GPU加速等,提升转码效率。

服务端转码不求人:写 FFmpeg 分布式转码 + GOP 切片 + 缩略图

实时互动网 实时互动网 · 2026-08-31T02:48:29Z

本文介绍Mooncake分布式KV存储系统中,因一行配置代码引发分布式死锁的案例。在写入路径启用direct reclaim后,本地master的io线程等待其他节点响应,形成循环等待,导致集群大面积挂起。文章强调系统安全性依赖等待图单向性,任何改变都可能破坏这一前提。

一行代码引起的分布式死锁

学习让我快乐 学习让我快乐 · 2026-08-10T16:00:00Z

本文介绍了TiDB集群的四个核心组件及其功能:TiDB负责SQL解析和请求路由,TiKV处理分布式事务和数据存储,PD管理元数据和调度,TiFlash提供列存分析副本。理解各组件的独立性和复杂性有助于排查性能问题。接下来将深入探讨TiKV的具体实现与机制。

【TiKV / HTAP 内核】HTAP / 分布式 KV 全景:TiDB–TiKV–PD–TiFlash 四件套

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-07-16T00:00:00Z

本文讨论了Milvus 2.6.x版本向量检索引擎中通过多级归并树实现高效搜索的方法,重点介绍了查询路径、Query Delegator的作用及一致性模型对搜索延迟的影响,并强调了分布式搜索的复杂性和一致性管理的重要性。

【向量检索引擎】分布式 search 归并:Delegator、多级 reduce 与 GuaranteeTs

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-07-12T00:00:00Z

本文讨论了分布式OLAP查询引擎的写作规划,重点分析Trino、Spark SQL、DuckDB和DataFusion的查询优化与执行框架。系列文章将探讨SQL解析、逻辑优化、执行模型及MPP调度等核心问题,旨在帮助数据工程师理解引擎的内部运作及性能优化。

分布式 OLAP 查询引擎 — 系列规划

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-07-07T14:11:59Z
缓存层架构:速度与规模的实用指南

Redis 是一个高效的实时数据平台,提供低延迟的缓存层,适用于 AI 工作负载和大规模应用。其分布式缓存和一致性哈希技术确保数据均匀分布,提升系统性能。在设计缓存层时,需要关注数据一致性、故障处理和扩展策略,以避免性能下降和数据过时。

缓存层架构:速度与规模的实用指南

Redis Blog Redis Blog · 2026-07-04T00:00:00Z
为 AI 数据流动而生:Fluxon 分布式键值缓存、RPC、消息队列与文件对象缓存加速层

Fluxon 是一个专为 AI 训练与推理设计的数据面加速系统,整合了分布式键值缓存、RPC、消息队列和文件对象缓存,解决了传统系统在数据流动、资源治理和可观测性方面的瓶颈。它支持高频数据对象的统一管理与复用,旨在简化 AI 基础设施,提升数据流动效率,促进模型创新。该项目已开源,欢迎开发者参与。

为 AI 数据流动而生:Fluxon 分布式键值缓存、RPC、消息队列与文件对象缓存加速层

Rust.cc Rust.cc · 2026-06-28T04:39:21Z

本文讨论了ClickHouse的分布式表引擎,重点介绍了水平分片和跨节点查询的实现。内容包括分片键的选择、INSERT和SELECT的路由机制,以及与PostgreSQL Citus的区别。强调分布式表的主要作用是路由而非存储,并提供了DDL示例和集群配置细节,最后总结了最佳实践和常见反模式。

【列存引擎内核】Distributed 引擎与分布式查询路由

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-06-18T00:00:00Z
Node.js中的Saga模式:如何在微服务中回滚分布式事务

在微服务架构中,Saga模式用于处理跨服务的事务一致性问题。它通过协调本地事务并在失败时执行补偿操作,确保系统状态一致。本文介绍了如何使用NestJS、gRPC和PostgreSQL实现Saga模式,包括工作协调、补偿回滚和可观察性。

Node.js中的Saga模式:如何在微服务中回滚分布式事务

freeCodeCamp.org freeCodeCamp.org · 2026-06-13T06:45:43Z
打破单一数据中心的束缚:基于k0smos平台的实用地理分布式AI操作

现代人工智能架构面临分散计算资源的挑战,Kubernetes成为管理地理分布式AI基础设施的关键。k0smos堆栈通过三个技术层次简化跨站点网络和异构硬件管理。与德国创新局合作的项目展示了如何整合不同GPU资源,实现高效的分布式训练,证明了在动态环境中运行AI工作负载的可行性。

打破单一数据中心的束缚:基于k0smos平台的实用地理分布式AI操作

Cloud Native Computing Foundation Cloud Native Computing Foundation · 2026-06-08T11:00:00Z
智能系统中的缓存:内部、分布式和语义

本文讨论了智能系统中缓存的重要性,重点介绍了Java应用的内部、分布式和语义缓存实现。内容包括使用Caffeine进行低延迟的内部缓存,利用Redisson和Valkey进行分布式缓存,以及通过向量相似性搜索实现语义缓存,以降低延迟和成本。

智能系统中的缓存:内部、分布式和语义

insidejava insidejava · 2026-05-18T00:00:00Z

微服务架构并不减少系统复杂度,而是将复杂度重新分配到不同领域,如调用链、监控体系、部署流程、团队协作和数据一致性。选择架构时需考虑复杂度的转移及团队的处理能力,适合的架构取决于团队规模和业务需求。

TIL:微服务与复杂度守恒——从单体到分布式的代价转移

暗无天日 暗无天日 · 2026-05-10T00:00:00Z
安东尼·佩格:我为我们的产品创建了三个GitHub Codespaces操作指南。你会使用它们吗?

pgEdge推出了GitHub Codespaces的操作指南,旨在简化Postgres的多主复制和管理。用户可以快速搭建环境,体验分布式Postgres的功能。指南涵盖多主复制、控制平面API和自然语言查询,适合不同用户需求,帮助开发者了解pgEdge的强大能力。

安东尼·佩格:我为我们的产品创建了三个GitHub Codespaces操作指南。你会使用它们吗?

Planet PostgreSQL Planet PostgreSQL · 2026-05-06T09:18:33Z

本文探讨了词嵌入的发展及其在自然语言处理中的重要性。词嵌入将离散词转换为连续向量,解决了传统one-hot编码的维度灾难和稀疏性问题。通过分析Firth的分布假设、word2vec和GloVe等方法,强调了词嵌入在捕捉语义相似性和类比关系中的作用。现代NLP模型如BERT和ELMo推动了上下文化词嵌入的发展,使同一词在不同上下文中具有不同表示。

【Transformer 与注意力机制】08 嵌入:从 one-hot 到分布式表示

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-04-15T00:00:00Z

去年双十一,一电商平台因批量更新商品促销价格导致缓存失效,命中率骤降至60%,引发数据库请求激增,影响支付和物流。文章分析了缓存架构的核心问题,包括读写模式、失效策略及防止缓存穿透、击穿和雪崩的方法,并提出多级缓存设计,结合Facebook的Memcache论文,探讨在分布式场景下保障缓存一致性。

【系统架构设计】缓存架构:从本地到分布式的多级缓存体系

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-04-13T00:00:00Z

Spanner通过TrueTime API(结合GPS与原子钟)提供时间区间,实现外部一致性。事务提交时分配时间戳并执行Commit Wait(约2ε),确保时间戳与真实时间顺序一致。支持快照读、强读及跨Paxos Group事务。CockroachDB用HLC和不确定性区间近似,TiDB用集中式TSO,各有取舍。

【分布式系统百科】Spanner 与 TrueTime:用硬件解决分布式时间问题

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-04-13T00:00:00Z

本文探讨了幂等性在分布式系统中的重要性,尤其是在支付场景中的应用。通过案例分析,强调了设计幂等性以防止重复扣款和数据不一致的必要性。文章介绍了幂等性的定义、HTTP方法的幂等性语义,以及Stripe等公司的幂等性实现策略,包括幂等键的设计和使用。最后,比较了不同的实现方案,并提出了在支付系统中保障幂等性的多层防护策略。

【系统架构设计】幂等性设计:分布式环境下的安全重试

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-04-13T00:00:00Z
利用AWS Firewall Manager统一部署Network Firewall (一)分布式架构

本文介绍了AWS Firewall Manager的功能,帮助用户集中管理多账户的Network Firewall部署,确保安全策略一致性。通过自动化合规和集中管控,简化安全管理,提高效率,确保新账户符合安全要求。

利用AWS Firewall Manager统一部署Network Firewall (一)分布式架构

亚马逊AWS官方博客 亚马逊AWS官方博客 · 2026-03-30T06:02:54Z
作为SRE阅读《DDIA》

在准备系统设计面试时,我阅读了《DDIA》,重新理解了两个事件:事件1因新枚举值发布顺序不当导致支付错误率异常;事件2因数据库内部错误导致支付请求下降,根本原因是过度依赖数据库查询。学习中,我认识到在分布式数据库中管理时间的重要性,以确保数据一致性。

作为SRE阅读《DDIA》

Henry Z's blog Henry Z's blog · 2026-03-22T04:55:56Z
谷歌BigQuery预览跨区域SQL查询功能以支持分布式数据

谷歌云推出BigQuery全球查询预览功能,允许开发者在不同地区的数据上运行SQL查询,无需移动数据。该功能简化了分析过程,但全球查询的延迟较高,可能增加成本,开发者需明确选择查询执行位置以符合数据合规要求。

谷歌BigQuery预览跨区域SQL查询功能以支持分布式数据

InfoQ InfoQ · 2026-03-08T10:11:00Z
  • <<
  • <
  • 1 (current)
  • 2
  • 3
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码