The TensorFlow Blog
·
使用TF和GKE进行服务：稳定扩散
💡
原文英文，约3100词，阅读约需11分钟。
📝
内容提要
本文介绍了如何使用TensorFlow Serving和Google Kubernetes Engine在线部署生成式AI模型Stable Diffusion。通过将每个组件打包到单独的容器中，可以更好地控制本地计算能力和微调性质。文章还介绍了如何将Stable Diffusion包装为SavedModels，并在GKE集群上部署。最后，文章展示了如何通过RestAPI调用端点生成图像。需要注意的是，为了将tokenizer嵌入到Text Encoder本身中，需要为所选提示准备令牌。最终，我们可以通过将像素值转换为图像格式来绘制生成的图像。
🎯
关键要点
- 本文介绍了如何使用TensorFlow Serving和Google Kubernetes Engine在线部署生成式AI模型Stable Diffusion。
- Stable Diffusion允许用户从自然语言文本提示生成高质量图像，适用于多个行业的不同用例。
- Stable Diffusion由三个子模型组成：文本编码器、扩散模型和变分自编码器解码器。
- 每个组件可以独立服务，以便更好地利用资源，文本编码器可以在中等CPU上运行，而其他两个模型则需要GPU。
- Stable Diffusion的每个组件被打包到单独的容器中，以便在GKE集群上运行，提供更好的控制和微调能力。
- 为了使用TensorFlow Serving，Stable Diffusion模型需要以SavedModel格式保存，并包含输入签名和预处理操作。
- 在GKE上部署Stable Diffusion需要编写Dockerfile、创建集群、安装NVIDIA驱动程序，并应用部署清单。
- 生成图像的过程包括准备提示的令牌、调用文本编码器、扩散模型和解码器的API端点。
- 需要注意的是，生成图像时，必须将像素值转换为图像格式以进行可视化。
- 通过XLA编译可以提高SavedModel的运行速度，适合部署使用。
➡️
