AI模型部署耗时主要来自加载权重、KV Cache初始化和CUDA内核编译。作者在T5000芯片上预编译CUDA内核，将cache、triton、nv等目录打包为缓存包，用户下载后无需重复编译，部署时间从40分钟缩短至16分钟。