小红花·文摘
  • 首页
  • AI Tokens🪙
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI

本文介绍AOTInductor(PyTorch编译器后端)如何将模型权重存储在共享库外,并在推理时线程安全地更新权重。通过设置`package_constants_in_so`为False、`freezing`为False及`always_keep_tensor_constants`为True,权重可外部保存。C++端使用`load_constants`加载权重到非活动缓冲区,再通过`swap_constant_buffer`和`free_inactive_constant_buffer`实现双缓冲安全交换,支持热更新,避免GPU内存峰值。

AOTInductor外部权重存储与权重流式更新

Lei Mao's Log Book Lei Mao's Log Book · 2026-08-27T07:00:00Z

本文介绍了四个Rust相关项目:Celeriant分布式事件存储数据库,用Rust实现每秒百万次写入;Termixel终端像素画渲染器;cs2excel CS2库存估值工具;以及Rust RFC #3943关于复用移动后变量存储空间的提案。

【Rust日报】2026-08-20 Celeriant:用 Rust 构建的分布式事件存储数据库

Rust.cc Rust.cc · 2026-08-24T23:28:43Z
关系型与非关系型数据库:选择合适的数据存储

关系型数据库以表格存储、强制模式及ACID保证数据完整性,适合金融、医疗等复杂查询场景,但扩展性受限。非关系型数据库提供灵活模式、水平扩展,适合大数据和快速变化需求,但牺牲一致性。选择需权衡数据模型、扩展性、查询能力,可结合数据湖仓或多数据库策略,并通过原型验证。

关系型与非关系型数据库:选择合适的数据存储

Databricks Databricks · 2026-08-24T16:56:45Z
部署存储让您的部署随时可回滚

Vercel 推出部署存储功能,按每GB每月0.10美元计费,Hobby团队含10GB免费额度。用户可即时回滚至先前部署,无需重建。通过调整保留策略控制存储量,缩短保留时间可减少费用,但删除后无法回滚。建议优化输出目录、使用Vercel Blob及减小函数包以降低存储占用。

部署存储让您的部署随时可回滚

Vercel News Vercel News · 2026-08-21T05:00:00Z

WonderPen 写作软件将数据存储从 JSON 文件迁移至 SQLite 数据库,以解决文档多、搜索慢和易冲突的问题。桌面端采用 better-sqlite3 或 libsql,目前使用 Node.js 内置 SQLite;移动端共享数据库结构,通过 Drizzle.js 统一接口。但云盘同步可能损坏数据库文件,建议在数据量大或关系复杂时使用 SQLite。

WonderPen 存储格式迁移历程

oldj's blog oldj's blog · 2026-08-18T11:47:36Z
内存涨价时代的返校笔记本选购指南

由于内存和存储价格上涨,当前购买笔记本电脑并非最佳时机,但仍有一些不错的选择。建议优先考虑16GB内存和512GB存储的机型。MacBook Air适合大学生,MacBook Neo适合中小学生,此外还有华硕Zenbook A14、宏碁Aspire 14 AI、惠普OmniBook 3等Windows替代品,以及翻新ThinkPad和Chromebook等经济选项。

内存涨价时代的返校笔记本选购指南

The Verge The Verge · 2026-08-14T18:32:47Z

> 本文是写作规划,不是可发布正文。拆解对象:Ceph RADOS 存储内核——以 Ceph Squid v19.2.5(2026-07;docs.ceph.com/en/squid/)为主线,把一次客户端写从 librados / Messenger 经 PG / PrimaryLogPG、BlueStore,到 r…

Ceph / RADOS 存储内核 — 系列规划

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-08-14T16:14:18Z

本文对比Ceph RADOS与MinIO、云块存储、本机NVMe+SPDK三条替代路径,从接口、容错、延迟、运维四维度分析各自适用前提。Ceph赢在跨节点冗余、多接口统一;MinIO适合纯S3中小规模;云块存储免运维;本机NVMe适合延迟敏感场景。最后给出排除树判据:少于3故障域、P99低于1ms、无运维能力等场景不宜用Ceph。

【Ceph RADOS】对照替代路径:MinIO、云块存储与本机 NVMe+SPDK

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-08-14T00:00:00Z

本文介绍Ceph RADOS内核系列,共18篇,涵盖Map传播、OSD Messenger、CRUSH、PG Peering、BlueStore读写、恢复、EC路径及RBD/CephFS/RGW接入。旨在帮助工程师理解延迟与失败点,提供阅读路径和选型建议,对比MinIO、云块和SPDK,明确何时使用Ceph。

Ceph / RADOS 存储内核:从 Map 到 BlueStore

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-08-14T00:00:00Z

MongoDB 发布安全公告,提醒用户关注 Percona Tools for MongoDB 中的多个 CVE 漏洞,并建议立即更新以防范潜在风险。

从InnoDB复制到DuckDB存储引擎

Percona Database Performance Blog Percona Database Performance Blog · 2026-08-13T17:23:27Z

SPDK bdev层是用户态块存储的统一接口层,提供读、写、unmap、flush等块语义,支持多后端模块(如NVMe、AIO)和可叠加虚拟设备。I/O流程为:在channel上提交请求,经无锁队列下发至模块,轮询完成后回调上层。相比Linux块层,bdev砍掉了调度合并和cgroup公平机制,强调单租户可预测延迟,通过超时和reset机制处理故障。

【SPDK 用户态存储】bdev 核心:统一块接口、I/O 生命周期与排队完成

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-08-13T00:00:00Z

SPDK NVMe驱动为被动库,不主动拉线程,应用需自行泵完成。qpair是并行单位且单线程独占,无锁特性,越界即未定义行为。Admin与I/O完成通道分离,排障需分开。Poll group聚合多qpair轮询并支持中断。零拷贝指载荷无驱动侧bounce,但需DMA安全分配。集成清单涵盖环境、qpair亲和、完成泵、缓冲寿命等硬约束。

【SPDK 用户态存储】用户态 NVMe 驱动:Controller、Qpair 与 Poll Group

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-08-13T00:00:00Z

本文为SPDK用户态存储栈系列首篇,定位其相对内核NVMe与io_uring的生态位,提出五条坐标系(I/O路径、线程消息、设备独占、bdev、远端控制面)作为排障语言,并规划16篇阅读路线,强调用户态轮询栈的CPU税与运维代价。

【SPDK 用户态存储】用户态存储全景:从 Reactor 到 NVMe-oF 的坐标系

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-08-13T00:00:00Z

本文介绍SPDK bdev模块体系,区分后端叶子模块(nvme、aio/uring、malloc/null)与虚拟层(raid、lvol、gpt)。强调叠层会增加跳数、错误翻译和资源冲突,建议用最少虚拟层表达产品能力。配置时应先建叶子再挂虚拟层,最后挂前端。默认推荐nvme直出或必要时单层虚拟,避免过度设计。

【SPDK 用户态存储】bdev 模块边界:nvme / aio / malloc 与何时不该叠层

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-08-13T00:00:00Z

本文讨论SPDK用户态存储中DMA安全分配问题。核心要点:所有数据缓冲必须用spdk_dma_malloc()族分配,malloc+mlock不可靠;PRP/SGL约束物理布局,对齐失败是独立故障模式;IOMMU+VFIO是长期正确路径,大页是当前支柱;mempool服务热路径复用,但生命周期须覆盖DMA飞行区间;零拷贝指驱动不隐藏bounce,端到端是否拷贝需逐层记账。建议将分配入口和还池路径厂规化。

【SPDK 用户态存储】DMA 与 Mempool:可 DMA 内存、对齐与零拷贝约束

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-08-13T00:00:00Z

本文介绍SPDK事件框架核心概念:Reactor为每核事件循环线程,Event用于跨核消息投递,Poller在同线程反复轮询。强调消息传递优于锁,状态由单线程拥有。阻塞reactor回调会导致同核I/O停滞,排障时应先检查哪核循环停止。spdk_thread可独立嵌入其他循环,io_device/io_channel模式实现全局慢状态与每线程快路径分离。

【SPDK 用户态存储】Reactor 与线程模型:Event、Poller 与 Message Passing

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-08-13T00:00:00Z

本文介绍SPDK作为虚拟机块设备后端(vhost/virtio)的机制。SPDK通过vhost-user协议(Unix套接字+共享内存)在用户态轮询队列,替代内核vhost,减少VMEXIT。文章对比vhost-scsi与vhost-blk的差异,强调共享内存(hugepage)、NUMA绑核等硬前提,并给出排障要点,区分与NVMe-oF及内核vhost的定位。

【SPDK 用户态存储】vhost / virtio 边界:对 VMM 提供块后端的位置

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-08-13T00:00:00Z

本文介绍SPDK用户态存储栈排障方法,提出五轴坐标系:环境绑盘、Reactor CPU、bdev队列、传输超时和多路径。排障时先选轴再动命令,按默认顺序核对,每排除一轴记录否证,避免并行瞎改。强调区分正常轮询税与真故障,队列满是背压信号,远端超时先查传输而非固件。五轴方法价值在于强制一次只证伪一轴,并建议将清单剪进门禁,明确角色分工。

【SPDK 用户态存储】排障坐标系:绑盘、空转、队列满、传输超时与多路径

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-08-13T00:00:00Z

SPDK配置面通过JSON-RPC管理,区分STARTUP和RUNTIME状态,热插拔变更仅存于内存,重启后丢失。需用save_config导出配置并纳入版本控制,编排系统应声明式渲染配置,避免依赖shell历史。生产变更需审计,升级时重放黄金配置验证兼容性。

【SPDK 用户态存储】JSON-RPC 与生命周期:配置面、热插拔与重启边界

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-08-13T00:00:00Z

本文介绍SPDK NVMe-oF传输层:RDMA与TCP两种传输的机制差异、默认轮询模型及v26.01新增的RDMA中断驱动模式。轮询适合高吞吐,中断模式降低低负载CPU开销。选型需匹配网络与运维能力,中断模式要求所有组件支持事件模型,否则无效。

【SPDK 用户态存储】NVMe-oF 传输层:RDMA vs TCP,轮询与 v26.01 中断模式

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-08-13T00:00:00Z
  • <<
  • <
  • 1 (current)
  • 2
  • 3
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码