离别歌
·
本地多语言AI字幕组：whisper实战教程
💡
原文中文，约3900字，阅读约需10分钟。
📝
内容提要
Whisper是OpenAI发布的开源语音识别系统，用户可在本地生成视频字幕。通过FFmpeg转换音频，结合whisper-cli工具和VAD模型，用户可以高效生成字幕。文章还介绍了简化操作的小工具，并推荐使用Google Gemini进行翻译。
🎯
关键要点
- Whisper是OpenAI发布的开源自动语音识别系统，旨在提供强大、通用的语音转文本工具。
- 用户可以在本地运行Whisper模型生成视频字幕，避免使用付费工具。
- Whisper的原版基于PyTorch，使用较为复杂，Georgi Gerganov将其移植到ggml框架下，简化了使用过程。
- 用户可以通过Github Action下载编译好的whisper-cli.exe命令行程序。
- Whisper模型需要下载，分为多个版本，用户可根据显卡性能选择合适的模型。
- 建议下载VAD模型以提高Whisper的准确率，Silero VAD是一个可用的开源模型。
- 使用FFmpeg将视频转换为音频，确保音频格式符合Whisper的要求。
- 通过whisper-cli命令行工具生成字幕，支持多种参数设置以优化识别效果。
- Whisper-cli生成的字幕文件可通过Google Gemini进行翻译，推荐使用其低廉的翻译服务。
- 作者提供了一个小工具，简化了在Windows上生成中文字幕的过程，方便用户使用。
➡️
