豆包手机如何实现跨应用自动操作？

　　9月16日，被冠以“全球首款AI智能体手机”的努比亚NaviX Ultra正式开售，这款深度搭载豆包手机助手的手机尝试让AI像人一样跨应用“替你干活”，但现阶段能自动操作的范围仍以字节系应用为主，能否搅动行业要看SAEP协议能否撬动第三方生态的开放。

　　一、从“听懂话”到“替你干活”的底层逻辑

　　技术路径：豆包手机助手通过GUI（图形用户界面）技术获取屏幕截图，结合大模型理解用户指令后，模拟点击、滑动等操作完成跨应用任务执行。

　　核心能力：手机能够基于复杂指令进行任务拆解与规划，并在多个应用间流转执行，支持上百步操作，具备主动探索和自我纠错能力，遇到页面变化可尝试替代方案继续执行。

　　交互设计：机身配备独立AI实体按键，支持指纹鉴权，按下即可免二次解锁唤醒助手；同时支持锁屏状态下根据任务类型执行差异化鉴权策略，兼顾便捷与安全。

　　二、SAEP协议划定“能干与不能干”的边界

　　规则创新：豆包推出屏幕自动化操作声明协议（SAEP），将AI操作的边界选择权交还给第三方开发者，应用可自主声明允许或拒绝被操作。

　　30天公示期：自9月14日起的30天内，第三方应用默认不会被GUI智能体操作，除非主动声明接受；公示期满后，未拒绝的应用将按风险层级逐步开放，明确拒绝的则始终不会被操作。

　　分层授权：应用可禁止全部操作，或对截图、模拟输入、内容修改等特定操作单独设限，敏感操作（如支付、发布内容）在执行时必须由用户确认接管。

　　三、当前实测：字节生态顺畅，第三方应用待开放

　　字节系应用流畅：实测中，语音指令“打开抖音检索每日经济新闻账号”在26秒内完成；抖音商城购物、本地记忆检索、录音纪要整理等场景均可自动执行。

　　第三方应用受限：记者实测显示，微信、小红书、美团外卖、淘宝等应用目前仅能自动打开，无法实现应用内自动化操作（如自动发朋友圈、下单外卖）。

　　跨应用场景示例：用户对手机说“帮我在三个平台比价并下单”，手机可自动在支持的平台间流转搜索比价，但支付等环节仍需用户确认；目前外部电商如淘宝闪购、京东暂不支持，系统会引导使用抖音服务完成下单。