文章介绍如何通过AOTInductor编译缓存保证推理引擎内核一致。自动调优耗时且结果不确定,内核变化会影响正确性。TorchInductor将调优结果存入缓存目录,软硬件环境相同时可复用缓存跳过调优。以MLP模型为例,开发时调优并打包缓存,生产时校验平台指纹后恢复缓存重新编译,编译时间从14.32秒降至10.72秒,且内核与验证时一致。
完成下面两步后,将自动完成登录并继续当前操作。