打字不如说话，说话不如截图——AI 代码助手的多模态输入实践
💡
原文中文，约6400字，阅读约需16分钟。
📝
内容提要
HagiCode项目通过语音识别和图片上传功能，提升了用户与AI助手的交互体验，用户可通过语音或截图解决问题，避免打字。尽管遇到WebSocket不支持自定义header的问题，但最终通过后端代理方案解决了安全性和兼容性问题。
🎯
关键要点
-
HagiCode项目通过语音识别和图片上传功能提升用户与AI助手的交互体验。
-
用户可以通过语音或截图解决问题，避免打字，提高效率。
-
在开发过程中，发现用户对多模态输入的需求强烈。
-
语音识别服务遇到WebSocket不支持自定义header的问题，最终通过后端代理方案解决。
-
后端代理方案保证了凭证安全性，并兼容API要求。
-
图片上传功能支持多种上传方式，提供良好的用户体验。
-
上传功能包括文件类型和大小限制，确保安全性。
-
总结认为，语音识别和图片上传功能显著提升了用户体验，提供了更自然的交互方式。
❓
延伸问答
HagiCode项目的主要功能是什么？
HagiCode项目通过语音识别和图片上传功能提升用户与AI助手的交互体验。
用户为什么需要多模态输入？
用户对多模态输入的需求强烈，因为有时说话比打字快，截图比描述更清晰。
HagiCode如何解决WebSocket不支持自定义header的问题？
HagiCode通过后端代理方案解决了WebSocket不支持自定义header的问题，确保了安全性和兼容性。
HagiCode的图片上传功能有哪些特点？
图片上传功能支持多种上传方式，包含文件类型和大小限制，确保用户体验和安全性。
使用HagiCode的语音识别功能需要注意什么？
使用语音识别功能时，需要麦克风权限，并建议在安静环境下使用，最大录音时长为300秒。
HagiCode项目的总结是什么？
总结认为，语音识别和图片上传功能显著提升了用户体验，提供了更自然的交互方式。
➡️
