退出流程里有两个都叫「仍要退出」的按钮,一个允许点,一个绝对不能点。

我们这几天在让 AI 在真机上跑一条真实业务链路:某超级 App 里一项服务的退出流程。走到最后一步,就是真实退保,点下去收不回来。

链路上有两个页面都有一个叫「仍要退出」的按钮。第一个在挽留页,旁边是「再用用看」;第二个在选择退出原因的页面,点了就提交了。名字一模一样,后果完全不同。

前一天,负责的 Agent 探到挽留页就停住了,交了一份「被阻断」的证据包,写明继续往下点需要我当面授权。我授权它点挽留页的那个「仍要退出」,走到选原因页,在提交前停下。今天的完整试跑,就停在了选原因页,什么都没有提交。

做到这一步,我最大的体会是:让 AI 操作真机,难的从来不是点得准,而是它知道在哪一步必须停。

停点要按副作用写,不能按步骤写

最直觉的写法是列步骤:第一步点这里,第二步点那里,第五步停。可页面会变,入口会变,同名按钮会出现在不同的页面上,按步骤写的停点很容易漂。

我们后来把动作按副作用分了级:只读、进入页面、写入。每条用例在合同里写明它允许的最高副作用等级。退出流程这条,边界写得很具体:只走到选原因页,不勾任何原因,不点这一页的「仍要退出」,不提交、不投保、不支付。越界的动作在代码里直接判违约,结果不收。

同名按钮也按页面区分:挽留页那个,经授权可以点;选原因页那个,禁止。授权必须精确到哪一页的哪个按钮,「可以点仍要退出」这种话不够。

手机上的人,比测试覆盖率更重要

一开始我们走的是 iPhone 加数据线的方案。很快我就定了一条:不抢我电脑的鼠标键盘,手机镜像只能偶尔用来看屏,不能拿来做自动化驱动。

后来连 iPhone 也不让它碰了。我当时的原话是:「别操作iPhone了,连接鸿蒙机在测试环境尝试吧」,还有一句:「不要操作退保、投保、下单类操作影响用户」。再往后,规则放宽成了现在这样:「申请退保 → 选原因就停、不提交;这个可以在正式包上走啊,反正你没有提交」。

放宽是有前提的。正因为停点已经写死在合同里、写进了代码,我才敢让它上正式包。

还有一条红线和登录有关:采集未登录对照要先退登录,重新登录必须由我本人在手机上完成。验证码谁都不转发,谁都不代填,私聊里也不行。

「同一屏读到状态没变」不能证明状态没变

停在选原因页以后,怎么证明我们真的没有改变用户的状态?

最初的想法是:停下以后,页面上还显示服务有效,这不就证明没变吗?审查的 Agent 指出这不行。同一个页面自己证明自己,等于没有证明。「停住后状态未变」必须来自独立的读回,比如对着测试数据的校验,或者服务端的查询。

于是断言被拆成了三层:动作回执证明点了什么,页面断言证明看到了什么,业务断言证明真实状态是什么。三层互不冒充,「退出成功」这种页面更不能拿来当证据。

口述的状态,要让现场数据说了算

这件事还有一个前传。有一次我口头说,手机上这个账号是有有效服务的。可 AI 在测试环境抓下来的页面结构显示,名下 0 份,根本到不了退出页面。

那次之后定了一条:现场抓到的数据优先于口述。我说的话不是事实,是待核对的线索。

真正经常卡住的,是设备连不上

做之前我以为最难的是点不准、识别错。实际跑下来,最常见的卡点是设备本身。

真机走无线调试,接入端口会变,会掉线。今天下午灌完测试数据准备重跑,设备列表突然变成空的,只能等我亮屏、重开无线调试。息屏时间偏短也会打断自动化。新的端口号只发给操机的那个 Agent,私聊里发,不进群。

这些都不是模型能力的问题,是工程上的琐碎。可端到端测试离不开它们,任何一个环节断了,再聪明的 Agent 也只能在原地等。

走到这一步,还差什么

今天这次试跑,停点守住了,证据包留下了,截图做过脱敏,用文字识别复检过一遍,没有扫出敏感字样,截图暂时也不上传。

但它只是一次试跑。登录态的未登录对照还没采,截图还没授权上传,正式的端到端闭环还没开始变绿。我现在能确定的只有一件事:在这条链路上,AI 知道自己该在哪里停下。对一个能碰到真实用户状态的测试工具来说,这是我愿意让它继续往前走的前提。