内容提要
豆包手机助手消费者版发布,新增独立AI键,可一键唤起助手、识别屏幕内容并执行跨应用任务。升级个人Context与记忆能力,用户授权后可保存和检索本地信息。操作手机仍为Beta版,并推出SAEP协议规范第三方应用权限。文章认为,AI手机正从工具转向“行动终端”,由Agent理解目标、调用服务并持续执行任务。
延伸解读
AI键:从唤醒工具到启动行动
豆包手机助手新增的独立AI键,并非简单复制语音助手快捷键。长按唤起助手、双击进入视频对话,锁屏下也能使用。关键在于按键背后连接的是可跨应用执行任务的Agent,用户按下即交出目标,并授权手机代为操作。这改变了传统语音助手需要用户重新描述屏幕内容的交互方式,让当前屏幕直接成为模型上下文,降低了发起任务的起点。
SAEP协议:为自动化操作划清权限边界
针对第三方应用的操作,豆包发布了SAEP协议,允许应用自主声明AI在应用内的操作边界,明确允许或拒绝屏幕自动化。豆包表示会尊重开发者选择,对拒绝的应用不进行自动化操作。这补上了用户授权之外的开发者权限层,意味着AI手机跨应用执行任务时,不仅需要用户同意,还需获得应用方的许可,实际可用范围可能因此受限。
记忆与Context:让助手不再每次重新认识你
消费者版升级了个人Context和记忆能力。授权后,豆包可检索录音、联系人、相册、短信、便签和日历,用户也能通过语音、按键、手势或截图主动保存信息。记忆的价值在于减少重复说明,例如保存老板的简报格式偏好后,下次只需说“按上次格式更新”即可。但这也对隐私提出更高要求,文章强调记忆建立在用户知情和主动授权基础上,且可查看、修改和删除。
行动终端:任务生命周期比功能数量更重要
文章将AI手机的新形态称为“行动终端”,即以任务为起点,由Agent理解目标、调用服务、安排顺序并在后台持续执行。消费者版通过后台执行、任务队列、任务中心和指纹确认等设计,让任务拥有生命周期。但需注意,“操作手机”仍为Beta版,存在能力限制;且“专家模式”和“工作任务”模式与“操作手机”暂不能同时使用,需退出当前模式后再调用。
Q&A
豆包手机助手消费者版新增的独立AI键有哪些具体功能?
长按AI键可直接唤起豆包助手,双击进入实时视频对话;锁屏界面下也能直接询问天气等通用信息。涉及敏感操作时,按键可结合指纹验证确认授权。按下后当前屏幕内容会成为模型理解问题的上下文,无需截图或复制文字。
豆包手机助手的记忆能力能记住哪些信息?如何保存和找回?
能记住两类信息:一是手机中已有数据,授权后可检索录音、联系人、相册、短信、便签和日历;二是用户主动保存的内容,如地址、订单号、旅行攻略等。保存方式包括语音指令、同时按AI键与音量键、三指上滑或截图后点击「记忆」。找回时长按AI键、语音唤醒或进入豆包App提问。
SAEP协议是什么?它对第三方应用和用户有什么意义?
SAEP是豆包手机助手发布的面向第三方应用的屏幕自动化操作声明协议,并启动30天规则公示。第三方应用可自主声明AI在应用内的操作边界,明确允许或拒绝AI助手进行屏幕自动化操作。豆包尊重开发者选择,对明确拒绝的应用不会自动化操作。这补充了权限关系:用户决定AI能替自己做到哪一步,开发者决定AI能否进入自己的应用及操作程度。
豆包手机助手消费者版的「操作手机」能力目前处于什么阶段?有哪些限制?
「操作手机」能力继续以Beta版保留,并存在一定能力限制。日常生活和飞书等办公场景基本能满足,但涉及支付、隐私和不可逆操作时会要求用户接管确认。
什么是「行动终端」?它与传统智能手机有何不同?
行动终端是文章提出的新一代智能终端概念。传统智能手机以功能(App)为中心,等待用户点击,用户需把任务拆成步骤再找对应软件。行动终端则以任务为起点,先理解目标,调用能力,安排顺序,在后台持续执行,并在需要用户决定时回来。任务可在锁屏、切换应用甚至网络中断后继续存在。
豆包手机助手在办公场景下能完成哪些任务?如何使用「工作任务」模式?
可完成信息检索、数据分析、内容生成和文件制作等过去通常在PC端完成的办公任务。用户可切换到豆包专业版的「工作任务」模式,获得更适合复杂办公场景的处理能力,最终直接拿到Word、Excel或PPT文件。例如设置定时任务检索行业动态并导出Word简报,或根据记忆中的格式偏好更新简报。注意「专家模式」和「工作任务」是独立任务模式,进入后暂时无法同时使用「操作手机」及其他助手工具。