小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI

Uber has decentralized its Hive data warehouse, migrating 16,000 datasets totaling over 10 petabytes using pointer-based federation. The migration ensures zero downtime, strict ACL enforcement,...

Uber’s Hive Federation Decentralizes 16K Datasets and 10+ PB for Zero-Downtime Analytics at Scale

InfoQ
InfoQ · 2026-04-09T13:54:00Z
在生产环境中将Btrfs扩展到PB级:节省74%成本的故事

Chronosphere通过将时间序列数据从ext4迁移到Btrfs文件系统,节省了74%的存储成本。Btrfs提供透明压缩和高效的数据管理,尽管在迁移过程中面临备份成本增加和IO风暴等挑战,但最终证明是大规模企业部署的可靠选择。

在生产环境中将Btrfs扩展到PB级:节省74%成本的故事

The New Stack
The New Stack · 2026-03-18T12:00:02Z
Reddit如何将PB级Kafka从EC2迁移到Kubernetes

Reddit成功将超过500个Kafka代理和超过1PB的数据从EC2迁移到Kubernetes,整个过程无停机。迁移分为多个阶段,包括引入DNS中介、增加新代理、混合集群运行、逐步转移数据和控制平面迁移。通过小步、可逆的方式,Reddit确保了系统稳定性,避免了数据丢失和服务中断。

Reddit如何将PB级Kafka从EC2迁移到Kubernetes

ByteByteGo Newsletter
ByteByteGo Newsletter · 2026-03-17T15:30:44Z
Arctic Wolf 的液态聚类架构调优至 PB 级规模

Arctic Wolf 每天处理超过一万亿事件,重构数据架构后,查询速度提升至秒级,数据新鲜度从小时降至分钟,支持实时威胁检测与响应,显著降低查询时间和成本。

Arctic Wolf 的液态聚类架构调优至 PB 级规模

Databricks
Databricks · 2026-01-21T18:00:00Z
演讲:如何在数PB的自动驾驶数据中解锁洞察力和实现发现

自动驾驶面临边缘案例挑战,这些罕见场景常被忽视。Kyra Mozley介绍了Perception 2.0,通过基础模型和嵌入技术提升视频数据理解,简化数据标注,增强模型灵活性和准确性。新方法支持自然语言搜索和分类,快速识别复杂场景,提高安全性和可靠性。

演讲:如何在数PB的自动驾驶数据中解锁洞察力和实现发现

InfoQ
InfoQ · 2026-01-21T15:13:00Z
Stripe的零停机数据迁移平台实现毫秒级流量切换,支持PB级数据迁移

在2025年QCon旧金山会议上,Stripe工程师Jimmy Morzaria介绍了其零停机数据迁移平台,支持每秒500万查询,可靠性达到99.9995%。该平台通过六个阶段实现数据迁移,确保数据一致性和最小性能影响,支持从小数据集到数十TB的分片。迁移过程包括注册、数据导入、异步复制和流量切换,确保金融数据的安全性和完整性。Stripe选择内部构建该平台以满足安全和性能需求。

Stripe的零停机数据迁移平台实现毫秒级流量切换,支持PB级数据迁移

InfoQ
InfoQ · 2025-11-24T08:30:00Z

在FrOSCon 2025大会上,VictoriaMetrics的Aliaksandr Valialkin探讨了如何通过专用日志数据库处理PB级日志,显著提升查询性能。他介绍了列式存储、时间分区、日志流索引和布隆过滤器等技术,使查询时间从70小时缩短至10秒,指出传统数据库在大规模日志处理中的局限性。

日志查询从 70 小时到 10 秒?VictoriaMetrics 联创揭示 PB 级日志处理性能奥秘

Tony Bai
Tony Bai · 2025-08-20T00:34:17Z
Airbnb如何构建一个用于PB级数据的键值存储

Airbnb的Mussel是一个高效管理派生数据的关键值存储系统,采用分区管理、无领导复制和统一存储引擎,解决了可扩展性和低延迟问题,支持实时和批量数据,确保高可用性和快速访问,成为数据基础设施的核心。

Airbnb如何构建一个用于PB级数据的键值存储

ByteByteGo Newsletter
ByteByteGo Newsletter · 2025-01-07T16:30:57Z

本研究解决了现有对抗攻击方法在图像分割任务中应用不足的问题。提出了一种新颖的通用对抗攻击方法,利用双特征分离和低频散射模块,从像素和频率空间指导对抗样本的训练。实验结果表明,该方法在攻击成功率和不同模型间的可迁移性上优于现有技术。

PB-UAP: 混合通用对抗攻击用于图像分割

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-12-21T00:00:00Z

自2019年起,知乎采用TiDB分布式数据库,结合Kubernetes和TiDB Operator,实现高效的集群管理。通过自动化部署、数据迁移和监控,支持业务快速发展。TiDB生态架构涵盖数据迁移、监控和备份等功能,确保高可用性和稳定性。自研的天穹平台提升了研发和DBA团队的管理效率,满足多样化需求。

知乎 PB 级别 TiDB 数据库集群管控实践

TiDB_PingCAP 的博客
TiDB_PingCAP 的博客 · 2024-12-18T09:41:16Z

光谷马拉松将于2024年11月17日在华中科技大学举行。作者分享了训练和赛前准备,尽管天气恶劣,最终以3:30:51的成绩PB近5分钟。强调跑量和力量的重要性,认为持续跑步是关键。

2024光谷马拉松复盘,风雨中迎来新突破

dotNET跨平台
dotNET跨平台 · 2024-11-26T00:01:06Z
Uber如何管理PB级实时数据

Uber的实时数据基础设施是其业务核心,每天处理大量数据。系统由消息平台、流处理和OLAP组成,确保数据快速分析。关键要求包括一致性、可用性、数据新鲜度、可扩展性和成本效率。Uber使用定制的开源技术如Kafka、Flink和Pinot,支持动态定价、UberEats管理和实时预测等功能。

Uber如何管理PB级实时数据

ByteByteGo Newsletter
ByteByteGo Newsletter · 2024-10-15T15:31:29Z

本文由知乎数据库负责人代晓磊撰写,介绍了知乎如何使用 TiDB 进行数据库在线迁移。文章详细描述了三种迁移方案:跨云跨 Kubernetes 集群的副本投放迁移、TiCDC 链接的主备集群迁移,以及其他特殊场景的迁移建议。通过这些方案,知乎成功将多个 TiDB 集群迁移至新机房,确保数据安全稳定,并分享了迁移过程中的准备条件和具体操作步骤。

知乎 PB 级别 TiDB 数据库在线迁移实践

TiDB_PingCAP 的博客
TiDB_PingCAP 的博客 · 2024-09-25T15:45:46Z
将PostgreSQL扩展到PB级别

去年我们推出了Insights功能,提供数据库查询性能的统计信息。通过dogfooding实验,扩展到数百TB的数据和每天数十亿条记录。现在是重新审视该功能和介绍Timescale功能和架构选择的好时机。可以在Timescale Cloud上运行PostgreSQL数据库。

将PostgreSQL扩展到PB级别

Timescale Blog
Timescale Blog · 2024-09-19T13:00:02Z
Netflix如何预热PB级缓存数据

Netflix开发了名为EVCache的缓存预热系统,以减少流媒体应用的延迟。EVCache支持多种用例,如查找缓存、临时数据存储、主存储和高容量数据。Netflix将EVCache用作一级缓存,它存储了PB级的数据。为了改进缓存预热过程,Netflix创建了一个缓存预热工具,具有副本预热和实例预热功能。缓存预热系统由控制器、转储器和填充器三个主要组件组成。实例预热器可以快速填充替换或重新启动的节点的数据。缓存预热工具在扩展和高效处理节假日流量方面取得了成功。

Netflix如何预热PB级缓存数据

ByteByteGo Newsletter
ByteByteGo Newsletter · 2024-09-17T15:31:12Z
Shopify 如何管理其 PB 级规模的 MySQL 数据库

Shopify通过赋予小企业主权力,彻底改变了电子商务。他们的MySQL数据库以PB级规模存在,维持零停机时间面临挑战。Shopify使用分片平衡来分发流量,提高基础设施的生产力。他们采用数据驱动的方法进行分片再平衡,分析历史利用率和流量数据。Shopify还通过使用唯一标识符将相关请求路由到同一服务器来确保读一致性。他们通过利用Google Cloud Platform的快照功能来管理数据库备份和恢复,将恢复时间缩短到30分钟。Shopify的技术优先考虑用户体验和成本效益。

Shopify 如何管理其 PB 级规模的 MySQL 数据库

ByteByteGo Newsletter
ByteByteGo Newsletter · 2024-09-10T15:30:35Z
使用安信可pb-03蓝牙模块,给电动车加装蓝牙靠近解锁启动的装置

本文介绍了使用蓝牙模块和降压模块实现电动车一键启动的方法。通过将蓝牙模块与433芯片连接,模拟发送编码给控制单片机,实现免钥匙启动。如果直接连接遥控钥匙,则只需将开锁触点与蓝牙模块连接即可。

使用安信可pb-03蓝牙模块,给电动车加装蓝牙靠近解锁启动的装置

老胡的博客
老胡的博客 · 2024-03-26T05:24:49Z

本文介绍了集群的概念和分类,包括逻辑处理型集群和数据存储型集群。逻辑处理型集群包括事务服务、API网关等,数据存储型集群包括缓存中间件、数据库等。分发算法实现负载均衡,主从架构实现数据同步和高可用性。分片架构包括中心化分片集群和去中心化分片集群。学习技能时要关注底层思维方式,成为技术领域的专家。

(三)漫谈分布式之集群篇:99.99…%高可用与PB级数据存储背后的架构原理

六虎
六虎 · 2024-03-25T07:57:49Z
奉加微phy6222 安信可PB系列蓝牙添加OTA升级功能

OTA是通过无线升级将设备程序进行更新的一种方式,有后台式和非后台式两种方式。SLB OTA是后台式的一种方式,双分区的。在非后台模式下,设备需要从应用模式切换到BootLoader模式。Single Bank OTA是非后台模式下的一种方式,文章提供了主要步骤和所需软件工具。

奉加微phy6222 安信可PB系列蓝牙添加OTA升级功能

老胡的博客
老胡的博客 · 2024-03-19T02:32:58Z
DataGenAI — 构建在 Amazon 云上的 PB 级数据仓库 Redshift 的自然语言查询的探索和实践

生成式人工智能(Generative AI)是一种能够创造新内容和解决方案的AI技术,对自然语言处理(NLP)有深远影响。自然语言生成SQL可以简化数据查询和分析,提高工作效率。使用Amazon Redshift进行数据查询时,可以通过直接使用大语言模型(LLM)、使用LangChain的Chain或通过Fine-tuning优化查询结果。从成本、性能和复杂性等方面对比分析了这三种方法,以帮助用户选择合适的方案。

DataGenAI — 构建在 Amazon 云上的 PB 级数据仓库 Redshift 的自然语言查询的探索和实践

亚马逊AWS官方博客
亚马逊AWS官方博客 · 2024-03-08T05:50:28Z
  • <<
  • <
  • 1 (current)
  • 2
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 模力方舟 Gitee AI 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码