DEV Community
·
构建适合大众的数字助手（第二部分）
💡
原文英文，约1300词，阅读约需5分钟。
📝
内容提要
本文介绍了viewfAInder项目的第二个增量版本，使用camerax获取预览图像并使用Gemini提供描述。作者改进了用户体验，修复了图像旋转问题，并介绍了绘制形状和与Gemini通信的方法。下一步将进一步改进用户界面并将应用程序安装为Android助手。
🎯
关键要点
- 本文介绍了viewfAInder项目的第二个增量版本。
- 该版本使用camerax获取连续预览图像，并通过Gemini提供详细描述。
- 用户可以高亮图像区域，应用程序会请求Gemini关注该选择。
- 修复了图像旋转问题，确保分析图像与设备方向一致。
- 实现了用户在屏幕上绘制形状的功能，用户可以绘制圆形等。
- 绘制完成后，应用程序会将图像发送给Gemini进行分析。
- askGemini()函数用于将图像和提示发送给Gemini。
- 下一步将进一步改进用户界面，并将应用程序安装为Android助手。
❓
延伸问答
viewfAInder项目的第二个增量版本有哪些主要改进？
该版本改进了用户体验，修复了图像旋转问题，并增加了用户绘制形状的功能。
如何使用camerax获取连续预览图像？
使用camerax的Preview和ImageAnalysis类，可以获取连续的预览图像并进行分析。
用户如何在应用中绘制形状？
用户可以在屏幕上绘制形状，完成后应用程序会将图像发送给Gemini进行分析。
askGemini()函数的作用是什么？
askGemini()函数用于将图像和提示发送给Gemini进行内容生成。
下一步的开发计划是什么？
下一步将进一步改进用户界面，并将应用程序安装为Android助手。
如何解决图像旋转问题？
通过将设备的旋转信息传递给setupCamera()函数，确保图像分析时的方向与设备一致。
🏷️
标签
➡️
