离别歌
·
本地多语言AI字幕组：whisper实战教程
💡
原文中文，约3900字，阅读约需10分钟。
📝
内容提要
Whisper是OpenAI发布的开源语音识别系统，用户可在本地生成视频字幕。通过FFmpeg转换音频，结合whisper-cli工具和VAD模型，用户可以高效生成字幕。文章还介绍了简化操作的小工具，并推荐使用Google Gemini进行翻译。
🎯
关键要点
- Whisper是OpenAI发布的开源自动语音识别系统，旨在提供强大、通用的语音转文本工具。
- 用户可以在本地运行Whisper模型生成视频字幕，避免使用付费工具。
- Whisper的原版基于PyTorch，使用较为复杂，Georgi Gerganov将其移植到ggml框架下，简化了使用过程。
- 用户可以通过Github Action下载编译好的whisper-cli.exe命令行程序。
- Whisper模型需要下载，分为多个版本，用户可根据显卡性能选择合适的模型。
- 建议下载VAD模型以提高Whisper的准确率，Silero VAD是一个可用的开源模型。
- 使用FFmpeg将视频转换为音频，确保音频格式符合Whisper的要求。
- 通过whisper-cli命令行工具生成字幕，支持多种参数设置以优化识别效果。
- Whisper-cli生成的字幕文件可通过Google Gemini进行翻译，推荐使用其低廉的翻译服务。
- 作者提供了一个小工具，简化了在Windows上生成中文字幕的过程，方便用户使用。
❓
延伸问答
Whisper是什么？
Whisper是OpenAI发布的开源自动语音识别系统，旨在提供强大、通用的语音转文本工具。
如何在本地使用Whisper生成视频字幕？
用户可以通过FFmpeg将视频转换为音频，然后使用whisper-cli命令行工具生成字幕。
Whisper模型的下载和选择有什么注意事项？
Whisper模型需要根据显卡性能选择合适的版本，用户可以在Hugging Face上下载不同版本的模型文件。
VAD模型在Whisper中有什么作用？
VAD模型用于识别音频中的语音活动，帮助提高Whisper的准确率，自动分段非语音内容。
如何使用FFmpeg转换视频为音频？
可以使用命令：ffmpeg -i /path/to/video.mp4 -af aresample=async=1 -ar 16000 -ac 1 -c:a pcm_s16le -loglevel fatal /path/to/audio.wav。
生成的字幕文件如何进行翻译？
可以使用Google Gemini进行翻译，推荐其低廉的翻译服务。
➡️
