我口述账号是「在保」,AI 抓下来的页面写着 0 份。那天起,我说的话只算线索。
昨天发生了一件让我有点尴尬的事。
我们在做一套 AI 测试工具,要让它在真机上跑一条退出服务的链路。我跟团队说,测试手机上这个账号是有有效服务的,可以直接往下走。结果 AI 在测试环境里抓下来的页面结构显示:名下 0 份,根本没有退出入口。
我记错了,或者记的是另一个环境。不管哪种,结论都一样:我的口述是错的,现场数据是对的。
这件事之所以值得写,是因为它不是孤例。在这之前,我已经口述过一版业务形态,团队从代码和仓库里抽取以后,发现了好几处对不上。AI 测试要先懂业务,可业务知识从哪来、以谁为准,是我们这一周反复在纠正的事。
口述是人最方便的输入,也是最不可靠的来源
让 AI 理解业务,最快的办法就是人讲给它听:这个产品有哪几条线,每条线有什么状态,状态之间怎么流转,从哪个入口进去。讲十分钟,AI 就能整理出一张像模像样的流程图。
问题在于,人讲的是印象里的业务,不是系统里的业务。印象会过时,会混淆两个相似的系统,会把测试环境和正式环境记成一个。AI 拿到口述以后,不会质疑,只会把它整理得更工整,工整到大家都以为它是对的。
所以昨天我定了一条规矩:业务流程整理必须根据代码、种子数据和仓库自己探索以后落盘,不以口述当定论。口述可以有,但只能标成「口述待对齐」,等代码或现场数据确认了才升级。
证据分三级,每一条知识都要标出处
落到操作上,就是给每一条业务知识标证据等级:
- 文档或代码明文:代码里写着,文档里写着,可以直接用。
- 推断:从代码结构、页面关系里推出来的,要标明是推断。
- 口述待对齐:人说的,还没有被代码或数据证实。
再加一条优先级:现场抓到的数据优先于口述。这里的现场数据,包括真机上抓下来的页面结构、测试环境的数据库读回。
这套分级的价值,在于让每一条知识都能被追溯。测试挂了,我们能很快判断是代码变了,还是当初那条知识本来就只是推断。
两个数字一样的状态码,不能合并
从代码里抽取业务知识,还会遇到一种口述永远发现不了的问题。
两个系统里,有一个状态码的数字完全相同,含义却不一样。如果按「数字相同就是同一个状态」去合并,后面所有基于这个状态的用例和断言都会悄悄错掉,而且错得很隐蔽,因为数字是对得上的。
规则因此很简单:数字相同、含义不同的状态,各自分开建,绝不合并。判断两个状态是不是同一个,看的是它在各自系统里的含义,不是那个数字。
库只存代码表达不了的那一小部分
刚开始,团队想把页面、模块、跳转关系全部建成表。我觉得方向不对。
页面长什么样、层级怎么排、入口在哪、怎么跳转,这些东西代码里都有,而且每次发版都会变。把它们抄进库里,等于维护一份迟早会和代码打架的副本。
我当时的判断是:库维护产品功能逻辑,仓库维护实现。页面、层级、入口、跳转,每次运行时从最新拉取的代码里读;库里只存代码表达不了的部分,比如某个服务属于哪条产品线,某个状态应该走哪条流程模板,以及稳定的关联键。需求变了,就两边一起推变更,连带更新用例。
表少了,反而不会和代码打架。
本体要能驱动测试,而不只是一张实体表
还有一处被我推翻过的方案。团队一开始只打算建实体表,把业务对象列清楚。我要求再往前走一步:这套业务本体要能驱动选用例、编排执行、做断言取证,还要能算覆盖度。
具体的约束是:用例、运行记录、报告,都只引用本体里的 id,一处定义,到处引用。这样业务知识改了一处,所有引用它的地方都能被追到,不会出现报告里写的是一套、用例里用的是另一套。
入口要如实记账
最后一条和入口有关。用搜索也能进到目标产品页,可我指定的主入口是从个人页一层层点进去的那条路径。取证清单里必须记实际走的入口,不能拿搜索进去的结果冒充主入口的验收。
这看起来是个小细节,可用户真正走的是哪条路,本身就是业务知识的一部分。
走到现在的状态
照实说:本体表和测试用的种子数据已经上了库,但还是草稿,没有激活,激活要我另外点头。用这套业务知识跑出正式的端到端结果,还有很长的路。
但方向我已经很确定。AI 测试里最贵的错误,不是点错了按钮,而是拿着一份错的业务知识,把每一步都做得很对。人讲的业务可以当起点,不能当终点。