//@郑昀:豆包Agent的核心逻辑可以概括为:通过获取系统底层高权限(这就是为何需要锤子手机原团队制作原型手机),创建虚拟显示环境将目标界面置于其中运行,从而直接读取GPU渲染结果获得界面图像;将图像发送至云端VL模型进行解析并生成操作指令序列;最后在本地通过注入输入事件的方式驱动执行。这是一种极其强大但也极为危险的技术方案。//@郑昀:#it那些事儿# 金融类支付类App会设置FLAG_SECURE标志,即告知系统“此窗口内容敏感”。系统会阻止通过标准MediaProjectionAPI以及常规截图方式获取其画面。但是(豆包Agent手机创建了一个虚拟的显示设备)当应用界面被切换到虚拟显示上渲染时,其安全策略在此上下文中被绕过或无法生效,使得高权限应用能够捕获到最终合成后的帧缓冲区数据。这相当于通过系统“后门”拿到了金融支付应用的敏感图像。这不仅仅是非法的,而且是致命的,要知道:寇(豆包)可往,我(黑产)亦可往。
发布于 广东
