华瑞指数云与大普微联合发布KVstor AI原生一体机,并在新加坡科技周展出。该方案融合大普微企业级SSD与华瑞指数云KV Cache存储能力,可将高频KV数据从GPU显存卸载至全闪存储池,兼容主流推理框架,端到端时延低于200μs,助用户节省超60%推理GPU成本。
完成下面两步后,将自动完成登录并继续当前操作。