谷歌云推出了Model Armor,这是一个集成在Apigee API管理平台中的LLM治理框架,自动执行提示验证和输出过滤等政策。它在Apigee的代理层操作,支持多种LLM提供商,并与Google Kubernetes Engine集成,增强安全监控和治理能力。
本文介绍了开源解决方案Ray及其在Google Kubernetes Engine上支持AI工作负载的能力。Ray是一个统一计算框架,用于扩展AI和Python工作负载。通过Ray Clusters和Kubernetes集群的结合,可以实现从开发到生产的平滑过渡。Ray Operator是Google Kubernetes Engine的附加组件,可轻松部署和管理KubeRay资源。Ray是一个强大的解决方案,可以弥合开发AI应用程序和基础设施之间的差距。
本文介绍了如何使用TensorFlow Serving和Google Kubernetes Engine在线部署生成式AI模型Stable Diffusion。通过将每个组件打包到单独的容器中,可以更好地控制本地计算能力和微调性质。文章还介绍了如何将Stable Diffusion包装为SavedModels,并在GKE集群上部署。最后,文章展示了如何通过RestAPI调用端点生成图像。需要注意的是,为了将tokenizer嵌入到Text Encoder本身中,需要为所选提示准备令牌。最终,我们可以通过将像素值转换为图像格式来绘制生成的图像。
完成下面两步后,将自动完成登录并继续当前操作。