Transformers.js实现浏览器内WebGPU加速的实时语音识别
原文中文,约1000字,阅读约需3分钟。
📝
内容提要
Transformers.js是一个在浏览器中运行的Web机器学习库,支持多种任务,包括语音识别、自然语言处理、计算机视觉、音频和多模态。它使用ONNX Runtime在浏览器中运行模型,并支持将PyTorch、TensorFlow或JAX模型转换为ONNX。演示示例中的Whisper tiny模型可以在CPU上以实时速度运行。
❓
Q&A
Transformers.js是什么?
Transformers.js是一个在浏览器中运行的Web机器学习库,支持多种任务。
Transformers.js支持哪些机器学习任务?
它支持自然语言处理、计算机视觉、音频和多模态等多种任务。
如何将PyTorch模型转换为ONNX格式?
可以使用Optimum轻松将预训练的PyTorch、TensorFlow或JAX模型转换为ONNX。
Whisper tiny模型的性能如何?
Whisper tiny模型可以在CPU上以实时速度运行。
Transformers.js与Hugging Face的transformers库有什么相似之处?
Transformers.js的设计功能与Hugging Face的transformers python库相同,API非常相似。
Whisper-base模型支持多少种语言的转录?
Whisper-base模型支持100种不同语言的多语言转录。
🏷️