同一批测试,自己工作树里 62/62 全过,干净导出重跑是 59 过 3 跳。对外只能报后者。
前几天,写代码的 Agent 推了一个修复提交,在群里报:测试 62/62 全过。
审查的 Agent 用干净导出重跑了一遍,结果是 59 过、3 跳过、0 失败。那 3 条用例在写代码那边之所以能过,是因为它本地的环境恰好齐全。审查方当场定了口径:对外写「59 过 / 3 跳 / 0 失败」,不许写 62/62。
没有人撒谎。62 和 59 都是真的,只是范围不一样。可如果我只看到群里那句「62/62 全过」,我会以为这件事已经完全没问题了。
AI 团队里最常见的风险,往往不是 Agent 做错事,而是它真诚地报告了一个范围不清的结论。所以我们把「做完了」这句话拆掉了,换成一套能被第三方复核的交付方式。
数字必须带范围,否则它只是一种感觉
报数的规则后来写得很细:
- 工作树和干净导出分开报,例如「工作树 69/0/0,干净导出 66/3/0」,对外以干净导出为准。
- 跳过的用例必须写出来,不能被合并进「通过」。
- 不同测试文件的数不能混加。有一次说明里写「闭环 23 过」,审查方只数到 12 条,追问下去才知道是两个文件加在一起,本次新写的只有 12 个。
审查方自己也受这条约束。它第一次用干净导出复跑时失败了,查下来是导出时漏了一个配置目录,补上才得到 65 过、3 跳、0 失败。审查的人先要确认自己的环境对了,才有资格判别人的结果。
已经交出去的文件不准原地改
另一件事更隐蔽。一份已经交审的实现说明被原地改写了,审查方再去核时,旧的校验值在原路径上已经找不到对应内容;改过的文件里还留着一句已经过时的话,说某份计划「尚未经复核」,其实那份计划早就复核过了。
原地改文件的危害在于,它让「我审过的那一份」和「现在路径上的那一份」悄悄变成了两个东西。所以现在的规则是:
- 交出去的目录和文件一律不动,要改就开新目录、新文件或新提交。
- 方案按 v1、v2、v3 分目录,旧版的校验值永远不变,审查方可以逐行比出「只改了这两处,没有别的漂移」。
- 交接说明一入库就是快照,修订另写一份 v2,在里面写清哪份旧说明的哪一行已经过时,以代码为准。
交付三件套:路径、校验值、一句结论
现在我们所有交付都长一个样子:目录路径、sha256、一句结论。群里只贴这三样,不贴大段内容。审查方按固定的校验值去审,不等分支继续移动;审完写一份带校验值的审查文件,自己的审查记录也算校验值。
结论只有三档:可收、须修、未验。须修的挡住,不挡的写成软注,放到下一个提交里补,不回头改已经交出去的东西。代码审查和计划审查都不能让任何一道正式验收的闸门变绿,审过的只是源码,不是运行结果。
装机也按这套来。插件重装以后,交付的不是「装好了」,而是一份读回记录:装了什么版本,配置改了哪一行,自检输出是什么,每个文件的校验值。那次有一项没有重新验证:新开一个会话,能不能自动发现插件。读回记录里就直接写了「未重做」,所以我们至今不能说装机已实测。
字会变,所以入库前要核字
还有一类问题我以前想都没想过:文本在 Agent 之间传递时,字会变。一份交接文字里,「没」被转成了形近的「沨」;群里有一次把「无源信号」发成了「沠源信号」。
第一处是在入库前逐字核对 Unicode 码位时拦下来的,第二处是发出去以后自己发现、单独更正的。现在关键文件入库前,除了核校验值,还要核字符。这件事听起来很小,可如果这个字出现在一条验收结论里,「没有失败」和「沨有失败」之间,人读得过去,脚本可读不过去。
内容团队用的是同一套逻辑
我们做视频的那个 Agent 组,交接也是这套:交审报路径、版本号和 sha256,审的人先报出校验值的前 8 位,确认审的是同一个文件。
听审还多了一招:单独抽出音频码流算校验值。一期片子常常只改画面,比如换一帧闭嘴的头。音频码流和上一版完全一致,就沿用上一版的听审结论,只核画面改动,不用把整片重听一遍。
这招也有反例。有一期新版本的人声干声和上一版一样,但成片里有一段垫了环境声,混音其实变了。听审逐段比对,确认只有那一段不同,才沿用结论。干声相同不等于成片音轨相同,校验值要算在最终交付的那一层。
封面也吃过一次亏。一张已经锁定的竖版封面,被同目录里重渲横版的模板脚本整个覆盖了,原件再也找不回来。只能用锁定时留下的检查裁切图还原,还原后的校验值和原件不一样,当时也如实写了「不等于原件」。从那以后,锁封之前先把成稿以带校验值前 8 位的文件名存进只读目录。
这套做法换来了什么
说实话,它让所有交付都变慢了一点:多算一次校验值,多写一份读回,多开一个目录。可它换来的是,我可以不在场。任何一个 Agent 说「做完了」,我不需要信它,只需要让另一个 Agent 去核那三样东西。
在我们的测试项目里,这是整个项目最稳的一块。正式的端到端闭环至今还没变绿,但每一个「还没变绿」,都有据可查。