Gemini Live 引导视觉:为无障碍而打造
内容提要
谷歌在安卓设备推出Gemini Live“引导视觉”功能,为盲人及低视力用户提供实时视觉解读。用户共享摄像头即可听到环境描述、追问细节并获取语音提示。该功能与Aira合作,经超千名测试者训练,支持读小字、找物品、辨颜色等日常任务,兼容安卓9及以上系统,但并非医疗或导航设备。
延伸解读
功能定位与适用人群
Gemini Live 引导视觉是专为盲人、低视力用户设计的辅助工具,通过实时视觉解读帮助完成日常任务。它也能为老年人、识字困难者或在弱光下阅读小字的人提供便利。但需注意,它并非医疗设备、行动辅助或导航工具,不能替代白手杖或安全出行实践。
开发过程与测试验证
该功能与 Aira 合作开发,基于数万小时的视觉解读数据训练,并得到超过 1000 名 Aira 可信测试者网络的压力测试和反馈。Aira 专家还协助建立和评估安全护栏。这种深度协作有助于提升模型在真实场景中的可靠性和安全性。
使用方式与交互特点
用户可在 Gemini Live 中共享摄像头,获得环境描述、追问细节和主动语音提示。当摄像头角度不佳时,Gemini 会给出自然语言提示,如向右平移、向下倾斜或后退,以获取清晰视觉上下文。该功能支持多语言对话,并针对印度、巴西、新加坡等地用户反馈进行了优化。
兼容性与访问途径
引导视觉适用于运行 Android 9 及以上系统的设备,且需在支持 Gemini Live 的地区和语言中使用。用户可通过 Gemini 应用设置开启,或配置无障碍快捷方式(浮动按钮、双指滑动、音量键组合),TalkBack 用户也可通过三指点击菜单直接启动。请确保应用和系统为最新版本。
Q&A
Gemini Live 的引导视觉功能是什么?
引导视觉是 Gemini Live 中的一项功能,为盲人、低视力或需要直观视觉辅助的人提供语音优先的实时视觉解读。用户共享摄像头后,Gemini 会描述周围环境、回答追问,并给出主动的语音提示。
引导视觉功能是如何开发出来的?
该功能与 Aira 合作开发,Aira 的专家提供了数万小时的视觉解读数据,超过 1000 名 Aira 信任测试者帮助压力测试和优化模型,并协助建立安全护栏。
引导视觉能帮助完成哪些日常任务?
它可以读取细小文字(如食品标签、电器旋钮、菜单)、寻找和定位物品(如掉落的耳机、香料柜里的胡椒)、描述物体和匹配细节(如颜色、图案、形状)、探索陌生环境,并支持多语言自然对话。
如何在安卓设备上启用引导视觉?
有三种方式:1. 在 Gemini 移动应用的个人资料设置中打开“在 Live 中使用引导视觉”,然后打开 Gemini Live 并点击共享摄像头;2. 在 Android 设置 > 无障碍 > 视觉辅助 > 引导视觉中配置无障碍快捷方式,通过浮动按钮、双指滑动手势或同时按两个音量键启动;3. 使用 TalkBack 时,三指点击调出 TalkBack 菜单并选择引导视觉。
引导视觉有哪些使用限制或注意事项?
引导视觉是辅助工具,可能出错。它不是医疗设备、移动辅助工具或白手杖的替代品,不用于导航、安全出行指导或障碍物检测。用户应继续依赖既有的移动辅助工具和安全出行实践。
引导视觉支持哪些安卓设备和语言?
该功能在运行 Android 9 及以上版本的安卓设备上可用,但仅限于 Gemini Live 支持的区域和语言。用户需确保 Gemini 应用和安卓系统软件更新到最新版本。