离线生成双语字幕,一键生成中英双语字幕,基于AI大模型,ModelScope
内容提要
本文介绍了离线制作双语字幕的解决方案，包括人声背景音分离、语音转文字、字幕翻译和合并字幕等步骤。使用了FRCRN语音降噪模型、faster-whisper语音转文字工具和CSANMT连续语义增强机器翻译模型。最后通过ffmpeg工具合并字幕。整个过程简单易操作，适合普通人使用。
延伸解读
离线方案的核心优势
文章强调该方案完全离线，无需调用翻译等API接口，避免了网络依赖和潜在费用。所有处理均在本地完成，适合对数据隐私有要求的用户。同时，整合包和项目地址的提供降低了使用门槛，让普通人也能一键制作双语字幕。
关键模型与工具选择
方案选用阿里通义实验室的FRCRN进行人声分离，faster-whisper实现语音转文字，CSANMT模型负责翻译，最后用ffmpeg合并字幕。这些工具均为开源且经过优化，如faster-whisper比原版Whisper快4倍，内存占用更低，适合本地部署。
实践中的注意事项
文章提到FRCRN在PyTorch 1.12上存在bug，需指定PyTorch 1.11版本运行。此外，若视频背景音不嘈杂，可跳过人声分离步骤以节省时间。代码示例中使用了pipeline调用和自定义函数，用户需确保环境配置正确，尤其是GPU加速时的compute_type设置。
Q&A
离线制作双语字幕需要哪些步骤？
离线制作双语字幕主要包括四个步骤：人声背景音分离、语音转文字、字幕翻译和合并字幕。
为什么需要做人声和背景音分离？
因为背景音可能会影响语音转文字的准确率，所以进行人声和背景音分离是非常必要的。
FRCRN语音降噪模型有什么特点？
FRCRN语音降噪模型基于频率循环CRN新框架，在卷积编-解码架构上增加循环层，能改善卷积核视野局限性，提升降噪模型对频率维度的特征表达，尤其是在频率长距离相关性表达上获得提升，可以在消除噪声的同时对语音进行更针对性的辨识和保护。
faster-whisper相比openai/whisper有哪些优势？
faster-whisper是OpenAI Whisper模型的重新实现，使用CTranslate2推理引擎，速度提高了4倍，同时内存占用更少，还支持在CPU和GPU上进行8位量化，进一步提高效率。
CSANMT模型在字幕翻译中有什么作用？
CSANMT是连续语义增强机器翻译模型，用于字幕翻译，能提升翻译的效率和准确性。它由编码器、解码器及语义编码器构成，结合自适应对比学习构建跨语言连续语义表征空间，并采用混合高斯循环采样策略和邻域风险最小化策略优化模型，改善泛化能力和鲁棒性。
如何合并字幕和视频？
使用ffmpeg工具，通过命令ffmpeg.input(video_path).output("./test_srt.mp4", vf="subtitles=" + srt_path).run()即可将字幕合并到视频中。
