小红花·文摘
  • 首页
  • AI Tokens🪙
  • 排行榜🏆
  • 直播
  • FAQ

本文介绍了在有限硬件资源(如消费级GPU)上训练大型语言模型的七种技术:QLoRA量化低秩适配、GaLore低秩优化器、FSDP/ZeRO-3分片与内存卸载、选择性激活检查点、FlashAttention-2融合内核、FP8混合精度训练,以及RingAttention序列分块。这些方法通过优化内存层次管理,在降低显存占用和带宽需求的同时,实现与大规模集群相当的训练效果,并强调需监控静默故障以避免算力浪费。

有限硬件上高效训练大型语言模型的七种方法

KDnuggets KDnuggets · 2026-09-09T12:00:50Z
微软透露Windows 11针对8GB内存进行优化并提升启动速度 改进版发布时间未知

微软副总裁透露,Windows 11正优化内存占用,目标让8GB内存设备流畅运行,并提升启动和Windows Hello响应速度。改进包括高效内存分配器、优化WinUI 3和WebView2,但未公布具体数据或发布时间,硬件要求不变。

微软透露Windows 11针对8GB内存进行优化并提升启动速度 改进版发布时间未知

蓝点网 蓝点网 · 2026-09-08T10:14:06Z

etcd RangeStream在Kubernetes v1.37中升级为beta,配合etcd v3.7,通过流式分块读取减少API服务器和etcd的内存占用,使峰值使用更可预测。它替代分页Range,按字节而非键数限制块大小,边读边释放内存。默认启用,若etcd较旧则自动回退。

Kubernetes v1.37:etcd RangeStream 降低大规模列表读取的内存占用

Kubernetes Blog Kubernetes Blog · 2026-09-01T18:30:00Z

Cloudflare优化DNS缓存,通过五项措施使每个条目内存占用减少56%,节省约100TB内存。这些措施包括替换数据结构、合并存储列表、省略冗余字段、使用Box减少枚举浪费及原始字节存储,从而提升性能并降低内存使用。

2026 08 29 HackerNews

介绍 on SuperTechFans 介绍 on SuperTechFans · 2026-08-28T22:31:20Z

用户反映懒猫读书导致平板卡死,原因是超大PDF彩印文件首屏渲染及预加载导致内存过大,触发系统OOM杀死WebView进程。通过精细视口渲染,后端仅发送屏幕区域和缩放比例的图像,将内存占用控制在常量,减少90%,避免系统杀进程。远程定位根因,体现二十年老程序员经验。

懒猫读书 iPad OOM 问题排查与修复

Andy Stewart Andy Stewart · 2026-08-28T16:00:00Z

Cloudflare通过五项优化,将1.1.1.1 DNS缓存每条目内存占用从953字节降至420字节,节省约100TB内存。优化包括用Box替代Vec、合并列表、省略重复所有者、装箱枚举及存储原始数据,同时提升插入吞吐量43%和降低查找延迟19%。

我们如何通过优化1.1.1.1的DNS缓存节省了100TB内存

The Cloudflare Blog The Cloudflare Blog · 2026-08-27T17:02:35Z
iWedia宣布推出先进的Android DRAM优化流程

iWedia为Reliance Jio优化Android平台,在低内存硬件上实现DRAM需求降低50%,同时保持优质用户体验。通过结构化内存优化方法,减少RAM占用,延长设备生命周期,降低物料清单成本,为运营商提供硬件灵活性,并推动未来设备发展。

iWedia宣布推出先进的Android DRAM优化流程

实时互动网 实时互动网 · 2026-08-26T02:02:23Z
音视频性能优化:启动速度 / 内存 / 功耗 / 编码延迟全链路调优

本文介绍音视频性能优化方法论,涵盖启动速度、内存、功耗及CPU/GPU四个维度。通过测量定位瓶颈,采用预热Session、异步启动、低分辨率渐进提升、Buffer复用、低电量降级、静态场景降帧率等策略,并利用Claude Code工具辅助诊断,实现首帧<300ms、内存<120MB等优化目标。

音视频性能优化:启动速度 / 内存 / 功耗 / 编码延迟全链路调优

实时互动网 实时互动网 · 2026-08-25T03:49:22Z
当集合超出内存时

本文介绍Qdrant向量数据库在集合超出内存时的优化方法。通过量化压缩向量(如TurboQuant bits4)并固定压缩副本在RAM中,原始向量移至磁盘,可减少内存占用。重打分(rescore)虽增加磁盘读取,但能恢复精度,尤其对低比特量化(如bits1)效果显著。建议从bits4开始,根据测试调整参数,并验证召回率与延迟。

当集合超出内存时

Qdrant - Vector Database Qdrant - Vector Database · 2026-08-23T21:00:00Z

Linkerd 2.20的destination控制器通过Informer监视Kubernetes API,将EndpointSlice变更经EndpointTranslator转为per-target的gRPC Get()流推送给proxy。Pod内含四容器:destination负责发现、sp-validator校验ServiceProfile、policy求值策略、反身proxy提供mTLS。2.20优化了等价订阅者间共享状态,内存最高降84%,但需按集群实际churn评估。

【Linkerd】destination 架构:四容器 Pod 与 Informer 驱动

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-08-23T00:00:00Z
Windows 是 AI PC 路上的绊脚石

微软因AI时代内存成本上升,重新优化Windows在8GB设备上的性能。文章指出Windows臃肿源于历史兼容、功能叠加、全家桶捆绑及WebView2依赖,导致资源浪费。传统PC靠硬件升级掩盖问题,但AI PC需为模型预留内存,系统优化成现实压力。微软面临旧生态与AI新需求的矛盾,转型缓慢。

Windows 是 AI PC 路上的绊脚石

爱范儿 爱范儿 · 2026-08-22T10:00:42Z
TAG Video Systems 优化内存使用,降低总体拥有成本

TAG Video Systems通过优化内存使用,在压缩视频工作流中实现每通道成本降低66%,服务器容量仅下降20%。该方案已扩展至ST 2110环境,内存节省显著但容量减半。研发副总裁强调,通过重新设计而非转嫁内存涨价成本,提供同等质量的低价方案。新MCM软件包含此优化,客户可免费获取。

TAG Video Systems 优化内存使用,降低总体拥有成本

实时互动网 实时互动网 · 2026-08-11T06:16:06Z

Redis 7.4 版本中,ziplist 被 listpack 替代,优化了小集合的内存编码。quicklist 用于处理大列表,通过多个 listpack 节点提高效率。intset 用于小整数集合,超限后升级为 listpack 或哈希表,升级阈值可配置,主要目标是节省内存。

【Redis / 缓存内核】紧凑编码:listpack · quicklist · intset

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-07-13T00:00:00Z

本文讨论了softmax和LayerNorm等内存绑定算子的优化方法。softmax通过减去最大值来避免数值溢出,在线softmax则通过增量维护最大值和总和来减少遍数。LayerNorm采用Welford算法进行单遍均值和方差计算。逐元素融合技术将多个操作合并为一个kernel,显著减少访存次数,提高性能。整体优化策略强调数值稳定性和减少访存。

【GPU 算子工程】Softmax、LayerNorm 与逐元素融合

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-06-28T00:00:00Z
JDK 26中的性能改进

JDK 26发布了2500多个问题修复,显著提升了性能。新特性包括Lazy Constants API,优化对象初始化和启动速度。MemorySegment::getString减少内存分配,提高字符串提取效率。记录类的hashCode()性能优化,提升应用吞吐量。此外,改进了加密算法性能和垃圾回收机制,增强虚拟线程的可扩展性。整体上,JDK 26适合应用测试和迁移。

JDK 26中的性能改进

insidejava insidejava · 2026-06-09T00:00:00Z
深入探讨Redis的新数组数据类型

Redis 8.8引入了数组类型,提供常数时间访问特定位置的能力,解决了开发者在处理有意义索引时的痛点。数组支持位置范围访问、固定大小缓冲区和稀疏数据的服务器端过滤,优化了内存使用和性能。新命令使开发者能够高效管理和查询数据,提升应用响应速度和资源利用率。

深入探讨Redis的新数组数据类型

Redis Blog Redis Blog · 2026-06-02T00:00:00Z
EpiCache:用于长对话问答的情节KV缓存管理

EpiCache是一种KV缓存管理框架,专为长对话问答设计,旨在优化在固定内存预算下的缓存增长。通过块状预填充和情节相关的KV压缩,EpiCache提高了准确性,减少了延迟和内存使用,支持高效的多轮交互。

EpiCache:用于长对话问答的情节KV缓存管理

Apple Machine Learning Research Apple Machine Learning Research · 2026-05-19T00:00:00Z
GoLand 2026.2 早期访问计划已启动

GoLand 2026.2的早期访问计划已启动,用户可以免费试用新功能并提供反馈。此次更新专注于性能分析、内存优化和项目快速启动,新增工具窗口可实时监控CPU和内存使用情况,并优化了结构布局以减少内存占用。用户反馈将影响最终版本的发布。

GoLand 2026.2 早期访问计划已启动

The JetBrains Blog The JetBrains Blog · 2026-05-11T09:26:36Z

微软宣布Windows月活跃用户突破16亿,必应搜索月活跃用户超过10亿。CEO萨蒂亚·纳德拉表示将重视Windows系统,确保Windows 11在低内存设备上流畅运行,并将优化该系统以减少内存占用,吸引更多用户。

微软宣布Windows月活跃用户突破16亿 必应搜索月活跃用户突破10亿

蓝点网 蓝点网 · 2026-05-07T03:44:30Z
随机KV路由:实现自适应深度缓存共享

本文提出了一种随机跨层注意力机制,以优化变换器语言模型中的键值(KV)缓存管理。通过随机选择使用自身或前一层的KV状态,减少内存占用,同时保持模型性能。这种方法在预训练或微调阶段有效,尤其在数据受限的情况下表现出正则化效果。

随机KV路由:实现自适应深度缓存共享

Apple Machine Learning Research Apple Machine Learning Research · 2026-05-05T00:00:00Z
  • <<
  • <
  • 1 (current)
  • 2
  • 3
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 1tok 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator 模力方舟 Gitee AI

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码