Supermicro携手IBM与NVIDIA推出KV Cache存储解决方案
原文中文，约500字，阅读约需2分钟。
📝
内容提要
Supermicro联合IBM、NVIDIA推出KV Cache存储方案，整合AMD EPYC 9005处理器全闪存服务器、IBM Storage Scale及NVIDIA Dynamo与Spectrum-X网络。测试显示，13万词元输入下首词元生成时间快达56倍；输入增至13万词元时，用KV cache仅增0.377秒，未用增29.55秒。方案提升GPU利用率与推理吞吐，支持无中断扩容，部署时间由数周缩至数天。
🏷️
