小红花·文摘
  • 首页
  • AI Tokens🪙
  • 排行榜🏆
  • 直播
  • FAQ
沉浸式翻译 immersive translate
Dify.AI

本文是湖仓引擎系列最后一篇,介绍存储抽象与访问层:定义Backend接口(Put/Get/Delete/Exists),实现本地文件系统与S3两种后端,并通过构造函数注入使引擎不依赖具体存储;元数据位置与数据位置相互独立,可分别存放于Postgres和S3,便于DuckDB、Spark、pandas等多引擎共享同一目录;提供CLI REPL,支持建表、插入、扫描、删除、时间旅行等命令;开放表格式由标准Parquet、SQL元数据和约定三部分组成。

湖仓引擎系列——第8阶段:存储与访问

Kimserey Lam’s website, Software Development blog posts, videos and tutorials Kimserey Lam’s website, Software Development blog posts, videos and tutorials · 2026-10-24T05:00:00Z

PolarDB 采用计算与存储分离架构,多个节点可访问同一共享块设备,但仅允许一个节点以读写方式挂载,否则会导致数据损坏。原代码只用本机 fcntl 锁防止同机二次挂载,跨主机仍可能脑裂。为此 PolarFS 新增磁盘 Paxos 租约:每台主机在 paxos 文件中占用一个 512 字节扇区,通过准备、验证、获取、冲突检查的两阶段投票进行仲裁,租约每秒续期;续期失败则分层自隔离(abort、定时 SIGKILL、内核看门狗重启),确保至多一个写者。

Vadim Yatsenko:PolarFS:磁盘 Paxos 读写租约,让共享存储远离脑裂

Planet PostgreSQL Planet PostgreSQL · 2026-10-24T00:00:00Z

长鑫科技股价较峰值跌超35%,市值蒸发约1.5万亿元。马斯克称SpaceX与特斯拉已设委员会研究潜在合并。苹果因iPhone Duo供不应求在全球限购每人两台,并新增美国钛金属供应商。三星将推首款开放式耳机Galaxy Buds On。西门子与英伟达共建AI自主工厂。亚马逊计划2027年在德投资160亿欧元。LG家电自研AI芯片搭载量两年增10倍。BBC将关停两个电视频道。全球主要PC厂商已与存储制造商签长期供应协议。

长鑫科技市值较高点蒸发1.5万亿元;苹果iPhone Duo全球限购2台;全球主要PC厂商已与存储制造商签署长期供应协议 | 日报

全球TMT-美通国际 全球TMT-美通国际 · 2026-10-21T04:55:18Z

Awide Labs 开源了基于阿里 PolarDB 的 PostgreSQL 分支 Awide Polar,包含增强的 PolarFS 存储层和 Polar Proxy。它采用计算存储分离架构,主节点负责写入,只读副本共享同一数据文件,支持 HTAP。pgbench 读写测试中达到每秒超 15 万事务。主要改进包括:引擎内 WAL 流水线和 CSN MVCC 降低争用;PolarFS 用无锁队列和零拷贝 I/O,随机读写 IOPS 分别提升约 11 倍和 7 倍;代理实现一致性读;扩展 Patroni 高可用并移植 DataMax。

Vadim Yatsenko:Awide Labs 开源 Awide Polar——一款具备计算存储分离与 HTAP 能力的 PostgreSQL 分支

Planet PostgreSQL Planet PostgreSQL · 2026-10-19T00:00:00Z
给 Agent 造一座记忆塔(一):扁平存储与一次性压缩之间

忆时塔(Chronomem)是一种介于扁平存储与一次性压缩之间的Agent记忆架构:记忆按时间分层堆叠,越久越粗;底层原始条目append-only永不删除,上层摘要带引用可审计下钻。其核心是区分精确回想(沿引用链下钻,服务端零LLM)与语义回想(读LLM摘要,有损压缩),并强调摘要本身是时序条目,可递归自底向上总结。系统以MCP服务形式提供,含五道护栏控制成本。

给 Agent 造一座记忆塔(一):扁平存储与一次性压缩之间

东方星痕 东方星痕 · 2026-10-16T02:00:00Z
推出 Vercel Drives:为代理提供持久化存储

Vercel推出Drives,为Vercel Sandbox中的AI代理提供独立于运行环境的持久文件存储。代理可将同一驱动器挂载到新沙箱继续此前工作,无需迁移文件。多个沙箱可共享驱动器,只读复用数据,也可分叉驱动器并行探索不同方案,分叉不合并回原驱动器。Drives现已全面可用,默认1TiB,最高16TiB。

推出 Vercel Drives:为代理提供持久化存储

Vercel News Vercel News · 2026-10-15T07:00:00Z
存储股暴跌:长鑫只是引子,回购耗尽才要命

长鑫宣布4F²存储新技术,被媒体渲染为重大突破,但短期难撼动内存价格。存储股暴跌的真正原因是内存涨价过猛,苹果、英伟达、特斯拉等大买家纷纷减用,同时三星、SK海力士回购资金提前耗尽,托底力量消失。长鑫份额仅一成、无EUV,成本反高于对手。马斯克借机敲打韩企,韩国股市与政坛随之震荡。

存储股暴跌:长鑫只是引子,回购耗尽才要命

硕鼠的博客站 硕鼠的博客站 · 2026-10-15T00:30:00Z
潜伏的缓存刺客:Next.js + OpenNext + Cloudflare KV 存储暴涨实录

作者发现 Cloudflare KV 存储用量暴涨至 3.59GB-month,排查后定位为 OpenNext 的 KV 增量缓存缺陷:kv.put() 未设置 expirationTtl,缓存永久留存;随机 Build ID 使每次部署生成新缓存,构建期全量写入,旧版本数据成为僵尸,最终堆积 24GB。作者通过新建 KV 命名空间、自定义带 7 天 TTL 的缓存适配器、修补构建期 bulk put 三步解决。

潜伏的缓存刺客:Next.js + OpenNext + Cloudflare KV 存储暴涨实录

山维空间 山维空间 · 2026-10-13T09:09:08Z
现有Pro团队开始收取部署存储费用

Vercel将对所有Pro团队按每GB每月0.10美元收取部署与函数存储费用,具体计费时间以邮件通知为准。为控制成本,部署保留期改为30天,超过30天的部署将于10月23日起删除,用户可在此之前选择退出。保留期已为30天或更短的不受影响。用户可通过部署保留策略管理各类部署的保留时长,并在用量页面查看存储情况。

现有Pro团队开始收取部署存储费用

Vercel News Vercel News · 2026-10-09T18:00:00Z
AI数据湖推动新的存储需求

AI发展给数据中心存储架构带来挑战,传统数据湖难以支撑推理负载的持续并行访问。QLC NAND闪存凭借更高密度与能效,可支持256TB级SSD,降低占地与功耗。未来需采用分层存储,高性能层靠近计算,高容量QLC支撑数据湖,实现算力、内存与存储的均衡扩展。

AI数据湖推动新的存储需求

The New Stack The New Stack · 2026-10-08T14:00:00Z

本文介绍在 Ubuntu 云服务器上使用 Docker Compose 部署 OtterIO、Gitea 和 Traefik,搭建自管的对象存储、文件下载与代码托管服务,涵盖创建 deploy 用户、SSH 与 UFW 加固、固定镜像摘要、配置域名与证书、初始化数据目录、启动验证、备份恢复及升级流程。

Ubuntu 云服务器实践:安全部署文件存储、下载与代码托管

苏洋博客 苏洋博客 · 2026-10-07T15:29:00Z
Amazon S3 表类数据存储服务现在支持所有 Apache Iceberg V3 数据类型

Amazon S3表类数据存储服务现已支持Apache Iceberg V3全部数据类型,包括变体、纳秒时间戳、几何、地理位置和未知类型,以及删除向量和行谱系。用户可新建V3表或从V2升级,升级不可逆。V3以删除向量替代位置删除文件,提升行级操作效率,并原生支持半结构化和地理空间数据。新数据类型需Spark 4.0以上引擎,且仅支持Parquet格式。该功能已在所有支持区域推出,不额外收费。

Amazon S3 表类数据存储服务现在支持所有 Apache Iceberg V3 数据类型

亚马逊AWS官方博客 亚马逊AWS官方博客 · 2026-09-30T09:57:19Z
你的数据,你的存储,你的规则:2026 年 Unity Catalog 托管表存储指南

Databricks 的 Unity Catalog 托管表将数据存储在用户自有的云存储(S3、ADLS 或 GCS)中,而非平台控制存储。用户可在元存储、目录或架构层级设置托管存储位置,层级越具体优先级越高,并可用 ALTER 命令更改新表位置。数据采用 Iceberg 和 Delta 开放格式,外部工具可通过开放 API 读写,避免锁定,同时满足合规与数据驻留需求。

你的数据,你的存储,你的规则:2026 年 Unity Catalog 托管表存储指南

Databricks Databricks · 2026-09-29T16:40:16Z
智能体记忆是搜索问题,而非存储问题

六天内进行41次实验,将LoCoMo记忆的F1分数从0.392提升至0.666。Claude编写代码,人类负责发现指标错误。核心观点:AI时代人类的价值在于审查与判断,而非单纯执行。

智能体记忆是搜索问题,而非存储问题

Timescale Blog Timescale Blog · 2026-09-29T13:00:52Z
江波龙端侧AI存储方案适配高通第六代骁龙8超级至尊版

2026骁龙峰会上,高通联合阶跃、无量火与江波龙,基于第六代骁龙8超级至尊版平台,将阶跃StepEdge-Omni 30B-MoE模型面向端侧深度适配优化,打造端侧智能体助手并现场演示。江波龙提供端侧AI存储方案,由iSA存储智能体与UFS 4.1芯片支持,实现模型权重高效加载,预填充吞吐超330 Token/s,较通用方案提升逾30%,解码超28 Token/s。

江波龙端侧AI存储方案适配高通第六代骁龙8超级至尊版

全球TMT-美通国际 全球TMT-美通国际 · 2026-09-26T04:40:38Z
噩耗,本站的微软 OneDrive E3 MSDN 存储被停止了,大量下载链接急需更新

微软OneDrive E3 MSDN存储账号被停用,文件暂未删除。站内大量下载链接需迁移更新,已用AI扫描受影响文章并逐步处理。文件将转存至美国VPS,部分用户下载可能较慢;文章链接日期不变,每篇仅保留最新链接,旧版需求可留言,评论区临时链接不再搬迁。

噩耗,本站的微软 OneDrive E3 MSDN 存储被停止了,大量下载链接急需更新

柴郡猫 柴郡猫 · 2026-09-24T03:37:56Z
所有套餐均可创建无限 Vercel Blob 存储库

Vercel Blob 取消存储库数量限制,Hobby、Pro、Enterprise 均可按需创建。创建存储库按高级操作计费:Pro 每百万次 5 美元,Hobby 计入每月 2000 次免费额度,删除免费。可按环境、租户或临时分支创建独立存储库以隔离数据与凭证。存储、操作和流量仍按用量计费,拆分数据不增加成本。

所有套餐均可创建无限 Vercel Blob 存储库

Vercel News Vercel News · 2026-09-23T18:00:00Z

华为发布OceanStor M900 AI记忆存储,面向超大规模数据中心AI推理,提供PB级全共享记忆空间。单集群容量64PB,KV Cache从GB级提升至TB级,时延降至60μs,带宽40TB/s,推理吞吐翻倍、首Token时延减半,并采用KV-Aware技术延长SSD寿命。

华为发布OceanStor M900 AI记忆存储,单集群64PB容量

全球TMT-美通国际 全球TMT-美通国际 · 2026-09-18T06:18:38Z
群晖构建边缘+中心协同的产线数据存储架构

群晖在武汉工业AI论坛分享制造业数据方案,针对数据杂乱、性能成本矛盾、AI存储管控难三大痛点,构建边缘与中心协同的产线存储架构,支持多协议统一归集和AI语义搜索,实现亿级数据秒级调取;并以全闪存架构支撑研发仿真,PAS7700提供亚毫秒延迟、200万IOPS,降低存储成本。

群晖构建边缘+中心协同的产线数据存储架构

全球TMT-美通国际 全球TMT-美通国际 · 2026-09-17T08:52:09Z

Kubernetes v1.37 引入两项存储安全 Alpha 特性:卷挂载可设置 noexec、nosuid、nodev,防止在可写卷中执行任意二进制文件;emptyDir 支持 mode(如 01777 粘滞位限制跨容器删除文件,或 0750 限制访问)。需启用相应特性门控。

Kubernetes v1.37:通过绑定挂载选项和 EmptyDir 权限强化容器存储安全

Kubernetes Blog Kubernetes Blog · 2026-09-16T18:30:00Z
  • <<
  • <
  • 1 (current)
  • 2
  • 3
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 1tok 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator 模力方舟 Gitee AI

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码