快科技12月13日消息，有网友称豆包手机助手通过READ_FRAME_BUFFER权限，从GPU渲染的图形缓冲区拿走图像数据，不需要走上层的截图API。还用了CAPTURE_SECURE_VIDEO_OUTPUT权限，可以获取银行安全键盘等受保护的界面内容”。
豆包手机助手官方表示，这是对豆包手机助手技术实现方式的错误解读，豆包手机助手采用的是原生截屏接口，严格遵循应用声明的Secure标记，无法截屏银行安全键盘等声明受保护的界面内容。
任何持有豆包手机助手技术预览版的用户，都可以自己写一个带有受保护页面的APK进行测试，让AI讲解页面内容，可以验证AI是无法看到的。
网友提到的READ_FRAME_BUFFER权限，是为了让AI可以在后台完成操作，豆包手机助手让三方应用运行在虚拟屏空间中。
为了获取虚拟屏中运行的应用截图内容（对应方法WindowManagerService.captureDisplay）提供给豆包大模型推理，所以需要READ_FRAME_BUFFER权限，但该方法以及权限无法读取到包括银行APP在内的任何三方应用设置为Secure的内容。
CAPTURE_SECURE_VIDEO_OUTPUT权限的使用，是因为受保护的页面在虚拟屏的投影（即点击灵动岛打开的粉色边缘的应用界面）中会显示为黑屏，用户无法查看和操作。
所以需要此权限将受保护的内容正常展示给用户并能够被用户操作，但在投影后，受保护的页面仍会标记为Secure，仅能被用户查看，无法被截屏。
豆包手机助手操作手机功能的实现原理是：用户下达指令-截屏发送给云端豆包大模型-模型理解后返回具体操作-手机端执行操作指令，不断重复直到完成任务。因此每一步操作后都需要再截图上传给云端大模型分析，每步操作间隔约为3秒钟。
由于分析界面所需的大模型参数较大，受限于芯片性能暂时无法运行在手机端侧，需要截图上传云端处理，目前国内多家手机厂商具有AI操作能力的助手产品，也是同样的实现原理，也会使用READ_FRAME_BUFFER等系统权限。
需要强调的是，豆包手机助手仅在有用户指令时才会开始截屏，且无法截屏三方应用Secure标记页面，上传至云端大模型的截屏仅用于视觉理解和推理，完成任务后不会存储在云端。
（）
（来源：站长之家）
免责声明：本站文章部分内容为本站原创，另有部分容来源于第三方或整理自互联网，其中转载部分仅供展示，不拥有所有权，不代表本站观点立场，也不构成任何其他建议，对其内容、文字的真实性、完整性、及时性不作任何保证或承诺，请读者仅作参考，并请自行核实相关内容,不承担相关法律责任。如发现本站文章、图片等内容有涉及版权/违法违规或其他不适合的内容， 请及时联系我们进行处理。
宣传片
QQ：
微信：
公安网备案：苏ICP备2022030477号-15苏州钰尚网络文化传媒有限公司