HikariLan's Blog
·
一种基于 EasyVtuber 和 Stable Diffusion 的零成本虚拟形象直播方案
内容提要
本文介绍了一种零成本创建虚拟形象直播的方案，结合EasyVtuber和Stable Diffusion工具，流程包括模型部署、图像生成和直播设置，需高性能显卡支持。
关键要点
-
介绍了一种零成本创建虚拟形象直播的方案，结合EasyVtuber和Stable Diffusion工具。
-
方案包括模型部署、图像生成和直播设置，需高性能显卡支持。
-
使用Stable Diffusion生成原创虚拟形象，配合EasyVtuber实现面部捕捉和动态效果。
-
部署指南包括Stable Diffusion Webui Forge的安装与优化配置，SDXL模型的选择与部署。
-
EasyVtuber的安装与常见问题解决方法，以及配套工具链的配置说明。
-
操作流程包括生成透明背景的虚拟形象，图像后期处理，EasyVtuber与面部捕捉工具的联动设置。
-
方案对硬件性能要求较高，建议配备高性能显卡。
-
提供了NVIDIA用户的TensorRT模型构建优化建议，并对比了不同面部捕捉方案的优劣。
延伸解读
硬件性能要求
该方案对计算机硬件性能有较高要求，尤其是显卡。使用AI模型进行实时计算和图像生成时，强劲的显卡能够显著提升性能和流畅度。建议用户在实施前确认自己的设备是否满足要求，以避免因性能不足而导致的使用体验不佳。
软件部署流程
文章详细介绍了从Stable Diffusion到EasyVtuber的部署流程，包括安装、配置和常见问题解决。这些步骤对于初学者尤为重要，确保按照指南逐步操作，可以有效减少错误发生的几率。特别是TensorRT模型的构建，虽然耗时，但能显著优化性能。
面部捕捉方案比较
文中提到的面部捕捉方案各有优劣，OpenSeeFace适合PC端用户，而iFacialMocap则是iPhone用户的最佳选择。用户应根据自身设备和需求选择合适的方案，以确保虚拟形象的表现效果达到最佳。
延伸问答
如何使用EasyVtuber和Stable Diffusion创建虚拟形象？
可以通过部署Stable Diffusion生成虚拟形象，并使用EasyVtuber实现面部捕捉和动态效果，整个过程包括模型部署、图像生成和直播设置。
这个方案对硬件有什么要求？
该方案对硬件性能要求较高，建议配备高性能显卡以支持AI模型的实时计算。
如何解决EasyVtuber的常见错误？
如果遇到错误信息“Message type 'mediapipe.CalculatorOptions' has no field named 'ext'”，可以通过运行命令 'pip install protobuf==3.20.1' 来更换protobuf版本解决。
Stable Diffusion的部署步骤是什么？
首先下载Stable Diffusion Webui Forge一键部署包，解压后运行update.bat和run.bat以启动Stable Diffusion，确保控制台显示Running on local URL。
如何生成透明背景的虚拟形象？
在Stable Diffusion中输入特定的Prompt，如'transparent background, standing, full body'，生成后使用图像处理软件去除背景。
EasyVtuber与面部捕捉工具如何联动？
启动EasyVtuber和OpenSeeFace后，在EasyVtuber Launcher中选择角色图片，设置Input Device为OpenSeeFace，并选择输出目标为Spout2。
