小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI
EP212:数据仓库与数据湖与数据网格

数据仓库、数据湖和数据网格是三种数据存储方式。数据仓库结构化存储,查询快速但添加新数据源困难;数据湖灵活性高但管理复杂;数据网格将数据所有权分散,适合大型组织但需确保数据质量。许多公司结合使用这三种方法以满足不同需求。

EP212:数据仓库与数据湖与数据网格

ByteByteGo Newsletter
ByteByteGo Newsletter · 2026-04-25T15:30:59Z

文章介绍了降低程序内存使用的五个原则:1. 减少代码副本数,通过并发处理请求;2. 使用轻量工具,避免重型抽象;3. 将重操作隔离到短命进程中;4. 延迟加载,按需加载资源;5. 将不常用数据存储在磁盘而非内存。这些方法可以显著优化内存使用。

降低程序内存的五个原则

暗无天日
暗无天日 · 2026-04-18T00:00:00Z

本文探讨了文件管理的重要性和方法,包括有效存储、整理和查找数据的技巧。作者分享了个人经验,强调分类、命名和工具使用的重要性,以提高工作效率并避免信息过载。最终目标是快速找到所需信息。

我是如何进行文件管理的

少数派
少数派 · 2026-04-12T09:46:41Z
拉蒂西亚·阿夫罗特:PAX:存储引擎的反击

PAX是一种旨在提升缓存性能的数据存储格式,通过将页面分割为小页面(minipages)来优化存储,支持固定和可变长度属性。尽管在Postgres中面临NULL值处理和MVCC兼容性等复杂性挑战,PAX的核心理念仍值得深入研究。

拉蒂西亚·阿夫罗特:PAX:存储引擎的反击

Planet PostgreSQL
Planet PostgreSQL · 2026-04-06T00:00:00Z
第六章:分区

本文讨论了分布式系统中的数据存储扩展策略,比较了垂直扩展和水平扩展的优缺点。垂直扩展简单但存在单点故障风险,而水平扩展通过数据分区提高可用性。范围分区适合顺序查询但可能导致数据倾斜,哈希分区则均衡负载但牺牲顺序查询能力。文章还探讨了数据迁移和请求路由机制,强调在动态环境中保持数据一致性的重要性。

第六章:分区

codedump的网络日志
codedump的网络日志 · 2026-03-29T00:00:00Z
六边形、超表和240个无效标签:将海洋数据平台迁移到TimescaleDB

VesselAPI是一项提供实时船舶跟踪数据的服务,最初使用MongoDB存储数据,但因其对时间和空间查询支持不足而转向TimescaleDB。TimescaleDB通过自动分区和压缩优化数据存储,支持高效的时空查询,并使用H3六边形索引提高查询性能。迁移过程中发现旧代码中的结构标签问题,导致数据错误。最终,TimescaleDB的灵活性和性能满足了VesselAPI的需求。

六边形、超表和240个无效标签:将海洋数据平台迁移到TimescaleDB

Timescale Blog
Timescale Blog · 2026-03-25T14:39:17Z
完全开源的物联网平台!一站式搭建,设备管理+数据可视化全搞定,覆盖智能能源/楼宇/城市多场景

本文介绍了一款开源物联网平台,简化设备接入、数据存储和可视化,支持多种协议,适用于工业物联网和智慧能源等场景,功能全面且易于部署,降低开发成本,提高效率。

完全开源的物联网平台!一站式搭建,设备管理+数据可视化全搞定,覆盖智能能源/楼宇/城市多场景

dotNET跨平台
dotNET跨平台 · 2026-03-20T23:57:28Z
神雲科技携手领军企业提供全方位一站式AI基础设施

神云科技将在NVIDIA GTC 2026展出基于NVIDIA MGX架构的AI服务器及一站式解决方案,支持大规模容器管理,提升AI工作负载效率,并展示与DDN合作的低延迟AI数据存储解决方案。

神雲科技携手领军企业提供全方位一站式AI基础设施

全球TMT-美通国际
全球TMT-美通国际 · 2026-03-17T05:57:14Z
SessionStorage vs LocalStorage vs Cookie 深度对比:前端存储方案选型完全指南

在现代Web开发中,前端工程师需掌握客户端数据存储技术,包括Cookie、localStorage和sessionStorage。Cookie适合身份认证,localStorage用于持久化数据,sessionStorage用于临时数据存储。选择时需考虑数据需求和安全性。

SessionStorage vs LocalStorage vs Cookie 深度对比:前端存储方案选型完全指南

人言兑
人言兑 · 2026-03-03T10:25:31Z
Radim Marek:深入了解PostgreSQL的8KB页面

PostgreSQL使用8KB页面进行数据存储,每次操作涉及整个页面,页面包含元数据、行指针和实际数据,优化了存储和检索效率。虽然可以调整页面大小,但默认设置已满足大多数需求。

Radim Marek:深入了解PostgreSQL的8KB页面

Planet PostgreSQL
Planet PostgreSQL · 2026-02-19T21:45:55Z
开源版NotebookLM ! 这回数据真的在自己手里了

Open Notebook是一款AI研究笔记工具,支持用户自定义数据存储和AI模型,兼容多种文件格式及播客功能。该工具使用Python和Next.js开发,注重隐私和灵活性,适合需要定制化的用户。

开源版NotebookLM ! 这回数据真的在自己手里了

dotNET跨平台
dotNET跨平台 · 2026-02-13T00:02:09Z
快速打通AWS Marketplace SaaS集成流程 (实战指南)

亚马逊云科技AWS Marketplace是一个云软件交易平台,提供SaaS等解决方案。卖家可通过API和SNS集成上架产品,支持多种定价模式。产品生命周期包括暂存、受限和公开状态。买家订阅后需通过特定API获取合同信息和使用量记录,建议使用Amazon SQS和DynamoDB进行消息处理和数据存储。

快速打通AWS Marketplace SaaS集成流程 (实战指南)

亚马逊AWS官方博客
亚马逊AWS官方博客 · 2026-02-11T09:33:10Z
滴滴如何利用Apache Ozone扩展至数百PB的数据存储

滴滴出行通过采用Apache Ozone,有效解决了数据存储的扩展性和性能问题,显著提升了数据处理速度,降低了存储成本,并增强了系统稳定性,从而在数据驱动创新中获得竞争优势。

滴滴如何利用Apache Ozone扩展至数百PB的数据存储

The Apache Software Foundation Blog
The Apache Software Foundation Blog · 2026-01-20T18:19:36Z

公司在游戏中接入微软小冰AI聊天功能,初期使用MySQL存储聊天记录。随着数据量激增,决定限制每位玩家最多保存900条记录,并定期清理。为应对数据增长,计划按注册时间分表存储,并将不活跃玩家的数据迁移至便宜存储。同时,需定期释放MySQL表空间,并独立存储标记聊天记录以便分析。

聊天记录存储实践

了迹奇有没
了迹奇有没 · 2025-12-30T12:56:05Z
华为悬赏300万元攻克AI时代数据存储技术难题

华为第六届奥林帕斯奖启动,面向全球科研者悬赏300万元,聚焦AI时代的数据存储难题。创新方案提交截止至2026年4月30日,评审将在2026年5至6月进行,颁奖典礼预计于8月举行。

华为悬赏300万元攻克AI时代数据存储技术难题

TechWeb 全站精华
TechWeb 全站精华 · 2025-12-27T02:43:04Z
Amazon S3 Storage Lens 存储统计管理工具增加了性能指标,支持数十亿个前缀,并可导出到 S3 表

Amazon S3 Storage Lens推出三项新功能,新增八个性能指标,支持分析数十亿个前缀,并可导出至S3表类数据存储服务,帮助用户优化应用性能和降低成本。

Amazon S3 Storage Lens 存储统计管理工具增加了性能指标,支持数十亿个前缀,并可导出到 S3 表

亚马逊AWS官方博客
亚马逊AWS官方博客 · 2025-12-11T01:58:18Z

在数据量激增的背景下,单库单表已无法满足需求,分表分库成为解决方案。通过合理的拆分规则,将数据水平或垂直分散存储,避免过度拆分和聚合查询瓶颈,以支持业务增长。对于.NET开发者,可以通过手写逻辑、ORM扩展或专业中间件实现分表分库。

.NET实现分表分库方案:从理论到落地的实践指南

dotNET跨平台
dotNET跨平台 · 2025-12-10T06:52:04Z

国家互联网信息办公室与公安部发布《大型网络平台个人信息保护规定(征求意见稿)》,要求注册用户超过5000万的平台设立个人信息保护负责人,建立保护机构,规范数据存储与出境,强化未成年人信息保护,违规将追责。此规定旨在加强个人信息保护,促进网络安全行业发展。

《大型网络平台个人信息保护规定(征求意见稿)》 学习思考

绿盟科技技术博客
绿盟科技技术博客 · 2025-12-08T07:25:41Z

Linux 文件系统是数据存储与检索的核心,支持多种类型(如 ext4、XFS、Btrfs、ZFS)。通过 VFS 提供统一接口,优化性能与安全。理解文件系统结构、挂载管理及工具使用,有助于高效管理存储资源与保障数据安全。

Linux 文件系统详解:从基础到实践

极客技术博客’s Blog
极客技术博客’s Blog · 2025-12-05T10:00:11Z

《穷鬼套餐》第4章强调数据存储的重要性。即使拥有域名、服务器和托管服务,若没有数据存储能力,用户信息和内容无法持久化,导致每次刷新页面时数据重置。

穷鬼套餐 第4章:数据为王 —— 免费数据库与对象存储

SagaSu的博客
SagaSu的博客 · 2025-11-25T03:22:22Z
  • <<
  • <
  • 1 (current)
  • 2
  • 3
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码