freeCodeCamp.org
·
如何构建自己的私人语音助手：使用开源工具的逐步指南
💡
原文英文，约3100词，阅读约需12分钟。
📝
内容提要
本文介绍如何在Android手机上构建一个完全本地的语音助手，使用开源工具以增强隐私和控制。用户将学习设置语音识别、文本生成、记忆存储和工具调用等功能，最终实现一个能够离线理解指令并执行操作的助手。
🎯
关键要点
- 商业语音助手通常将语音数据发送到云服务器，使用开源工具可以在手机上直接运行以增强隐私和控制。
- 本教程逐步指导用户构建一个完全本地的移动语音助手，使用Whisper进行自动语音识别，MLC LLM进行本地推理，以及Android内置的文本转语音系统。
- 助手能够离线理解语音命令，合成语音回复，执行工具调用，存储个人记忆和偏好，并使用检索增强生成（RAG）回答问题。
- 系统概述部分描述了语音助手的核心流程：语音输入、转录、推理、行动和语音回复。
- 本教程使用Termux作为Android的终端环境，强调了基本命令行使用和Python的基础知识。
- 用户需要具备基本的命令行使用能力和简单的Python知识，但不需要机器学习经验或深刻理解神经网络。
- 安装和运行Whisper进行ASR，使用Python脚本将录制的语音转换为文本。
- 安装本地LLM与MLC，测试推理模型以生成对转录语音的响应。
- 实现本地文本转语音（TTS），将模型的文本响应转换为语音输出。
- 核心语音循环将语音识别、语言模型推理和语音合成连接成一个交互式对话循环。
- 工具调用功能使助手能够执行实际操作，而不仅仅是回复用户。
- 记忆功能允许助手记住用户分享的个人信息，使对话更具连续性和适应性。
- 检索增强生成（RAG）允许助手在回答时搜索用户的离线笔记或文档，提高个人任务的准确性。
- 多步骤代理工作流将听取、推理、记忆和工具使用结合成一个自动运行的小例程。
- 构建完全本地语音助手是一个逐步的过程，每一步都解锁了新的能力，使系统更像一个真实的助手。
- 用户可以进一步添加唤醒词检测、设备特定集成和更好的记忆架构等功能。
❓
延伸问答
如何在Android手机上构建本地语音助手？
可以通过使用开源工具，如Whisper和MLC LLM，逐步构建本地语音助手，设置语音识别、文本生成和工具调用等功能。
使用本地语音助手有哪些隐私优势？
本地语音助手不将语音数据发送到云服务器，从而增强用户隐私和控制。
构建语音助手需要哪些基本技能？
用户需要具备基本的命令行使用能力和简单的Python知识，但不需要机器学习经验。
语音助手如何实现记忆功能？
助手通过存储用户分享的个人信息，记住对话中的细节，使交互更具连续性和适应性。
什么是检索增强生成（RAG），它如何帮助语音助手？
RAG允许助手在回答问题时搜索用户的离线笔记或文档，从而提高回答的准确性。
如何让语音助手执行实际操作？
通过工具调用功能，助手可以执行实际操作，如发送通知或创建事件，而不仅仅是回复用户。
➡️
