导读：Qwen3.7系列强调视觉理解、真实场景感知和端到端移动应用导航。GUI Agent可以看屏幕、识别按钮并执行操作，适合自动测试、辅助使用和重复流程；但界面变化、弹窗、坐标偏移和误触支付都会带来风险，必须让动作建立在可确认状态上。
不要只依赖屏幕坐标
优先结合可访问性树、元素文本和稳定标识，视觉用于补充无法结构化的界面。点击前确认页面标题、目标元素和当前账号，点击后验证预期状态。
不同分辨率、字体大小、横竖屏和系统语言会改变布局。固定坐标脚本只能作为最后选择，并设置区域和误差限制。
任务拆成可恢复步骤
将登录、搜索、选择、填写和提交分开，每步保存截图、状态和结果。出现弹窗、网络错误或页面不符时停止，不继续猜测点击。
输入表单前校验字段，提交使用唯一业务ID。重复启动时先检查订单或记录是否存在。
权限与高风险动作
测试使用专用设备、账号和沙箱数据。禁止读取无关通知、照片和通讯录。安装、转账、发布、删除和修改账号必须人工确认。
设备凭证不进入模型上下文。屏幕截图自动遮挡手机号、验证码和个人消息，并按短期限保存。
设备矩阵与持续回归
覆盖主要Android版本、屏幕、网络、深色模式和无障碍设置。人为加入广告、系统更新提示、权限拒绝和慢加载。辅助使用场景还要测试屏幕阅读器、放大字体、颜色反转和外接键盘，确保Agent不会关闭用户已有的无障碍设置。
统计任务完成、错误点击、人工接管和平均步骤。App更新后先在小矩阵回归，再扩大自动化。为失败任务保存脱敏操作录像、截图序列和元素树，支持开发者回放到出错前一步；录像设短期保存并让测试账号与真实用户数据彻底分离。
执行清单
- 结合可访问性树和视觉，不只用坐标。
- 每步验证页面状态并保存证据。
- 高风险动作强制人工确认。
- 截图脱敏，使用测试账号与设备。
- 按系统、屏幕和异常状态持续回归。
总结
Qwen GUI Agent能把移动操作变成可编排流程，但可靠性来自状态确认而非“看起来像”。结构化元素、分步恢复和高风险拦截建立后，自动操作才适合真实App。
