本文是湖仓引擎系列最后一篇,介绍存储抽象与访问层:定义Backend接口(Put/Get/Delete/Exists),实现本地文件系统与S3两种后端,并通过构造函数注入使引擎不依赖具体存储;元数据位置与数据位置相互独立,可分别存放于Postgres和S3,便于DuckDB、Spark、pandas等多引擎共享同一目录;提供CLI REPL,支持建表、插入、扫描、删除、时间旅行等命令;开放表格式由标准Parquet、SQL元数据和约定三部分组成。
PolarDB 采用计算与存储分离架构,多个节点可访问同一共享块设备,但仅允许一个节点以读写方式挂载,否则会导致数据损坏。原代码只用本机 fcntl 锁防止同机二次挂载,跨主机仍可能脑裂。为此 PolarFS 新增磁盘 Paxos 租约:每台主机在 paxos 文件中占用一个 512 字节扇区,通过准备、验证、获取、冲突检查的两阶段投票进行仲裁,租约每秒续期;续期失败则分层自隔离(abort、定时 SIGKILL、内核看门狗重启),确保至多一个写者。
长鑫科技股价较峰值跌超35%,市值蒸发约1.5万亿元。马斯克称SpaceX与特斯拉已设委员会研究潜在合并。苹果因iPhone Duo供不应求在全球限购每人两台,并新增美国钛金属供应商。三星将推首款开放式耳机Galaxy Buds On。西门子与英伟达共建AI自主工厂。亚马逊计划2027年在德投资160亿欧元。LG家电自研AI芯片搭载量两年增10倍。BBC将关停两个电视频道。全球主要PC厂商已与存储制造商签长期供应协议。
Awide Labs 开源了基于阿里 PolarDB 的 PostgreSQL 分支 Awide Polar,包含增强的 PolarFS 存储层和 Polar Proxy。它采用计算存储分离架构,主节点负责写入,只读副本共享同一数据文件,支持 HTAP。pgbench 读写测试中达到每秒超 15 万事务。主要改进包括:引擎内 WAL 流水线和 CSN MVCC 降低争用;PolarFS 用无锁队列和零拷贝 I/O,随机读写 IOPS 分别提升约 11 倍和 7 倍;代理实现一致性读;扩展 Patroni 高可用并移植 DataMax。
忆时塔(Chronomem)是一种介于扁平存储与一次性压缩之间的Agent记忆架构:记忆按时间分层堆叠,越久越粗;底层原始条目append-only永不删除,上层摘要带引用可审计下钻。其核心是区分精确回想(沿引用链下钻,服务端零LLM)与语义回想(读LLM摘要,有损压缩),并强调摘要本身是时序条目,可递归自底向上总结。系统以MCP服务形式提供,含五道护栏控制成本。
Vercel推出Drives,为Vercel Sandbox中的AI代理提供独立于运行环境的持久文件存储。代理可将同一驱动器挂载到新沙箱继续此前工作,无需迁移文件。多个沙箱可共享驱动器,只读复用数据,也可分叉驱动器并行探索不同方案,分叉不合并回原驱动器。Drives现已全面可用,默认1TiB,最高16TiB。
长鑫宣布4F²存储新技术,被媒体渲染为重大突破,但短期难撼动内存价格。存储股暴跌的真正原因是内存涨价过猛,苹果、英伟达、特斯拉等大买家纷纷减用,同时三星、SK海力士回购资金提前耗尽,托底力量消失。长鑫份额仅一成、无EUV,成本反高于对手。马斯克借机敲打韩企,韩国股市与政坛随之震荡。
作者发现 Cloudflare KV 存储用量暴涨至 3.59GB-month,排查后定位为 OpenNext 的 KV 增量缓存缺陷:kv.put() 未设置 expirationTtl,缓存永久留存;随机 Build ID 使每次部署生成新缓存,构建期全量写入,旧版本数据成为僵尸,最终堆积 24GB。作者通过新建 KV 命名空间、自定义带 7 天 TTL 的缓存适配器、修补构建期 bulk put 三步解决。
Vercel将对所有Pro团队按每GB每月0.10美元收取部署与函数存储费用,具体计费时间以邮件通知为准。为控制成本,部署保留期改为30天,超过30天的部署将于10月23日起删除,用户可在此之前选择退出。保留期已为30天或更短的不受影响。用户可通过部署保留策略管理各类部署的保留时长,并在用量页面查看存储情况。
AI发展给数据中心存储架构带来挑战,传统数据湖难以支撑推理负载的持续并行访问。QLC NAND闪存凭借更高密度与能效,可支持256TB级SSD,降低占地与功耗。未来需采用分层存储,高性能层靠近计算,高容量QLC支撑数据湖,实现算力、内存与存储的均衡扩展。
本文介绍在 Ubuntu 云服务器上使用 Docker Compose 部署 OtterIO、Gitea 和 Traefik,搭建自管的对象存储、文件下载与代码托管服务,涵盖创建 deploy 用户、SSH 与 UFW 加固、固定镜像摘要、配置域名与证书、初始化数据目录、启动验证、备份恢复及升级流程。
Amazon S3表类数据存储服务现已支持Apache Iceberg V3全部数据类型,包括变体、纳秒时间戳、几何、地理位置和未知类型,以及删除向量和行谱系。用户可新建V3表或从V2升级,升级不可逆。V3以删除向量替代位置删除文件,提升行级操作效率,并原生支持半结构化和地理空间数据。新数据类型需Spark 4.0以上引擎,且仅支持Parquet格式。该功能已在所有支持区域推出,不额外收费。
Databricks 的 Unity Catalog 托管表将数据存储在用户自有的云存储(S3、ADLS 或 GCS)中,而非平台控制存储。用户可在元存储、目录或架构层级设置托管存储位置,层级越具体优先级越高,并可用 ALTER 命令更改新表位置。数据采用 Iceberg 和 Delta 开放格式,外部工具可通过开放 API 读写,避免锁定,同时满足合规与数据驻留需求。
六天内进行41次实验,将LoCoMo记忆的F1分数从0.392提升至0.666。Claude编写代码,人类负责发现指标错误。核心观点:AI时代人类的价值在于审查与判断,而非单纯执行。
2026骁龙峰会上,高通联合阶跃、无量火与江波龙,基于第六代骁龙8超级至尊版平台,将阶跃StepEdge-Omni 30B-MoE模型面向端侧深度适配优化,打造端侧智能体助手并现场演示。江波龙提供端侧AI存储方案,由iSA存储智能体与UFS 4.1芯片支持,实现模型权重高效加载,预填充吞吐超330 Token/s,较通用方案提升逾30%,解码超28 Token/s。
微软OneDrive E3 MSDN存储账号被停用,文件暂未删除。站内大量下载链接需迁移更新,已用AI扫描受影响文章并逐步处理。文件将转存至美国VPS,部分用户下载可能较慢;文章链接日期不变,每篇仅保留最新链接,旧版需求可留言,评论区临时链接不再搬迁。
Vercel Blob 取消存储库数量限制,Hobby、Pro、Enterprise 均可按需创建。创建存储库按高级操作计费:Pro 每百万次 5 美元,Hobby 计入每月 2000 次免费额度,删除免费。可按环境、租户或临时分支创建独立存储库以隔离数据与凭证。存储、操作和流量仍按用量计费,拆分数据不增加成本。
华为发布OceanStor M900 AI记忆存储,面向超大规模数据中心AI推理,提供PB级全共享记忆空间。单集群容量64PB,KV Cache从GB级提升至TB级,时延降至60μs,带宽40TB/s,推理吞吐翻倍、首Token时延减半,并采用KV-Aware技术延长SSD寿命。
群晖在武汉工业AI论坛分享制造业数据方案,针对数据杂乱、性能成本矛盾、AI存储管控难三大痛点,构建边缘与中心协同的产线存储架构,支持多协议统一归集和AI语义搜索,实现亿级数据秒级调取;并以全闪存架构支撑研发仿真,PAS7700提供亚毫秒延迟、200万IOPS,降低存储成本。
Kubernetes v1.37 引入两项存储安全 Alpha 特性:卷挂载可设置 noexec、nosuid、nodev,防止在可写卷中执行任意二进制文件;emptyDir 支持 mode(如 01777 粘滞位限制跨容器删除文件,或 0750 限制访问)。需启用相应特性门控。
完成下面两步后,将自动完成登录并继续当前操作。