➡️
继续阅读
-
PD 分离详解:Prefill 与 Decode 的瓶颈、拆分与代价
PD分离将LLM推理的Prefill(计算密集)与Decode(显存带宽密集)阶段拆分至独立资源池,以隔离干扰、优化TTFT和ITL,并允许按需配置硬件。...
-
AEO、GEO 与 LLMO:当 SEO 遇上 AI 时代
AEO、GEO、LLMO是AI时代对传统SEO的延伸,分别优化答案引擎、生成引擎和大语言模型。三者本质是同一内容的三面:结构清晰、深度可信、术语一致。建议...
-
全网音源搬进NAS!HollyMusic部署,听歌、下歌一站服务
HollyMusic是一款自部署的在线音乐聚合播放器,兼容洛雪音乐自定义音源,可在NAS上聚合不同来源,支持多用户、缓存、PWA及Subsonic协议。部...
-
别再使用IndexedDB,大文件读写就用OPFS
OPFS(源私有文件系统)是Web本地存储方案,比IndexedDB更简单高效,适合缓存大文件如中文字体。通过案例展示首次请求后本地持久化,实现秒开。OP...
-
Vol. 173 苹果换帅,Claude 5.1 发布,GLM 低价偷家,英伟达要买 Hugging Face 等
本期播客回顾科技界重大动态:苹果CEO换帅,John Ternus接任;AI领域Fable 5.1发布,GLM-5.3-Flash以高性价比引发关注;英伟...
-
Presentation: Instrumentation at Scale: Having Your Performance Cake and Eating It Too
Brian Martin discusses the real-world performance costs of metrics libraries ...