有截图、有 dump、停在了该停的页面,看着像通过了。我们把它封顶为「试跑可收」。

上个月底我们开始做一套 AI 测试工具,目标写得很朴素:快速做出雏形,跑通一个最小闭环,环境、少量页面、证据。

跑通来得比预想的快。没过几天,AI 就能在真机上从入口一路点到目标页面,截图、抓页面结构、写报告,看上去什么都有了。也正是从那时候起,我发现团队里每个人说的「绿了」,意思都不一样。

有人说的是代码审过了,有人说的是脚本跑完没报错,有人说的是页面上看到了那个入口。这些都是真的,但离「这条业务链路被测过了」还差得很远。于是我们干脆给「绿」分了级。

「跑通」只证明通路存在

最低的一档是通路:环境能起来,脚本能跑完,AI 能走到想去的页面。

这一档最容易被误认成通过,因为它产出的东西和真正的测试结果长得一模一样。我很早就在看板上加了一条规矩:必须区分「通路已能跑」和「正式闭环已验」,两者不许用同一个颜色。

审查的过程中,我们还发现了几种「看着绿、其实没验」的典型情况:

  • 空断言也能记成通过。一条用例什么都没断言,执行器照样给 pass。
  • 入口可见不等于点开了。有的用例只判断入口在页面上出现,有的拿测试用的门户页替代正式入口,深链只能当调试捷径。
  • 占位文本能把校验骗过去。有一步拿一个产品里永远不会出现的占位字当断言,结构校验过了,这一步根本没验。没有真实来源,就老老实实标「待取证」。

「试跑可收」要满足前置条件,而且要被抽核

中间一档,我们叫「试跑可收」。它有明确的条件:单次完整跑,测试用的种子数据已经灌好,结果经过审查方抽核。

没灌种子数据的跑,哪怕截图再完整,也只能算「预演」。有一次交付的包,被审查方判为「按预演档可收」,明确写了不是试跑可收;灌好数据重跑以后,记录里仍然写着「尚无审查抽核,不能算试跑可收」。直到审查方真的抽核过,才升到这一档。

抽核也不是走过场。那次抽核就真的抓出了问题:两张截图其实是同一页;报告里一个关键锚点文字引用错了文件,真实来源在另一份页面结构里。

「正式通过」是九道闸全过

最高的一档是正式的端到端闭环。它要求整条链路从业务知识出发:本体定义驱动用例,用例驱动执行,执行之后做业务断言,证据可回看。

为了把这一档说清楚,我们把它拆成了九道闸。每一道都对应一个曾经被「看着像绿」糊弄过去的地方,比如:

  • 必须从正式入口进入,不能用自测入口冒充。
  • 登录态的判断要有正式页面抓取的原文,还要有一份未登录的对照样本,不能自己编信号。
  • 截图证据要上传,并经过团队回看。
  • 种子数据和注册的用例要从草稿激活成正式状态。

后两条还牵出一个容易忽略的点:注册草稿用例本身就是一次写库,激活更是,它们都要我单独点头,不能因为「这只是测试数据」就默认放行。

规则还写进了代码里。一份计划的审查记录,只有文件名和校验值都对上,才标为通过;就算标了通过,九道闸也照样全红。代码审查、计划审查,都不能让任何一道闸变绿。

术语要统一,否则分级会被一个词打穿

分级之后,还踩过一个词的坑。团队里一直用一个代号指「验收红灯」,可在另一套组织能力体系里,同一个代号指的是单测标准化。两拨人对着同一个词,说的是完全不同的事。

后来我们统一了口径,不用代号,只说「正式端到端闭环仍红」。每条群进展的结尾,都固定写上这句话。听起来有点像念经,可它保证了任何一个人、任何一个 Agent 读到进展,都不会误以为我们已经做完了。

现在走到哪一档

照实说:我们有两个试跑包达到了「试跑可收」,正式闭环的实现源码也审过了,可九道闸到今天仍然全红。剩下的几项,注册用例、未登录对照、证据上传、激活,都卡在需要我逐项点头的位置。

昨天我在群里问了一句:「目前项目目标解决方案ready了吗,缺什么」。得到的回答不是「快好了」,而是一张闸门表,每一项写着红还是绿、缺什么、等谁。

这就是分级带来的最大变化:「做到哪了」从一个靠感觉回答的问题,变成了一个可以查表回答的问题。AI 让「跑通」变得很便宜,正因为便宜,才更不能把它当成「测过」。