使用 PAI-Blade 优化 Stable Diffusion 推理流程
内容提要
PAI-Blade是PAI推出的通用推理优化工具，可以通过模型系统联合优化，使模型达到最优推理性能。PAI-Blade依托于完全动态尺寸的AI编译器BladeDISC和基于深度学习自动调度的高性能计算库BlaDNN，为包括图像生成模型Stable Diffusion在内的众多模型提供自动的高性能推理优化。使用PAI-Blade优化Stable Diffusion具有高性能、完全动态shape支持和易用性、可扩展性三点优势。文章还介绍了PAI-Blade在社区流行的Text2Img pipeline中的使用方法，并给出了A100和A10的性能对比和推理结果验证。最后，文章展望了PAI-Blade团队未来的工作方向。
关键要点
-
AIGC是人工智能计算领域里发展迅速的重要业务，Stable Diffusion是热门的开源模型。
-
PAI-Blade是PAI推出的通用推理优化工具，依托于BladeDISC和BlaDNN，为多种模型提供高性能推理优化。
-
BladeDISC支持完全动态尺寸的AI编译器，前端支持Pytorch和Tensorflow模型，提升模型执行效率。
-
BlaDNN是基于深度学习自动调度的高性能计算库，能够实现在线自动调度，降低推理延迟。
-
使用PAI-Blade优化Stable Diffusion具有高性能、完全动态shape支持和易用性、可扩展性三大优势。
-
文章介绍了PAI-Blade在Text2Img pipeline中的使用方法，并提供了性能对比和推理结果验证。
-
使用PAI-Blade优化Stable Diffusion的步骤包括加载预训练模型、进行优化和替换原始模型。
-
A100和A10的性能对比显示，PAI-Blade在推理时间和显存占用上均有显著提升。
-
推理结果验证显示，PAI-Blade优化后的输出与Pytorch原始输出一致。
-
LoRA优化通过添加低秩矩阵微调模型，PAI-Blade已适配LoRA优化方式。
-
PAI-Blade团队未来将关注社区趋势，优化集成到各种工具中，提升finetune训练速度。
