机器之心 ·

Cache Me If You Can：陈丹琦团队如何「抓住」关键缓存，解放LLM内存？

💡 原文中文，约200字，阅读约需1分钟。

📝

内容提要

机器之心数据服务现已上线，提供高效稳定的数据获取，简化数据爬取流程。

🎯

🏷️

DoorDash Uses Envoy and Valkey for a 1.5M RPS Proxy Cache with 99.99999% Availability
DoorDash has developed Entity Cache, a transparent proxy caching platform bui...
Why goodput matters more than throughput for LLM serving
When we benchmark an LLM serving setup, the number almost everyone reaches fo...
Purge your Remote Cache's build and CI artifacts
Team Owners can now clear the team's Remote Cache of all artifacts in one...
AI 内存别只当概念看：它其实是状态管理问题
阮一峰周刊提到 AI 内存这个话题。比起把它看成模型能力，我更关心它在真实系统里的状态管理、隔离、回滚和观测问题。AI 应用想记住用户，先要能解释、能删除、能排查。
XZ 后门这件事，最该记住的不是 0.5 秒
XZ Utils 后门再次提醒我们，供应链安全不只是一套扫描工具能解决的问题。真正容易被忽略的，是维护者压力、构建链路、发布包和线上异常之间那些不起眼的缝。
华为韬定律干翻NVL72？五千芯片组网性能炸裂，AI集群不再看单颗算力
五千块芯片干翻英伟达？华为的AI数据中心正在改写物理规则。华为用落后两代的制造工艺，硬是靠系统级设计把AI集群性能拉到了超算天花板。当英伟达还在铜线传输...