多 Agent 协作最先出事的不是能力,是同一个 Agent 既操机又验收,自己给自己打分。

上周我们在做一套 AI 测试工具,目标是让 AI 在某超级 App 里自己跑一条真实业务链路,留下团队能复核的证据。一开始我让一个 Agent 带着本机的编码助手去操作模拟器,探页、截图、写结论,全由它一个人包了。

第一批跑得挺顺。第二批复核时出了问题:它只能证明「商城页和浮层页长什么样」,私有目录里没有任何动作回执,浮层是怎么弹出来的,根因定不了。所有人只好暂停新增动作。

当天我就改了分工:手机操作和协调交给另一个 Agent,原来那个停止操机、停止传话派活,只做只读审查。过了两天又加一条,审查的一方也不读凭据。

这件事给我的教训是:搭多 Agent 小队,先切的不是活,是权力。谁能动手,谁能验收,谁能合代码,谁能碰账号,这几件事分不开,后面怎么分活都会乱。

第一刀切在执行和验收之间

同一个 Agent 既操作又验收,相当于考生自己改卷。它不是故意作弊,问题出在信息上:操作的人知道自己「本来想点哪里」,看截图时会自动补全没有留下证据的那一步。

所以小队里第一条硬规矩是:执行者不能是验收者。审查方只读,不操作手机或模拟器,不改共用的工作树,不传话,不合并。它能接触到的只有交付物本身:路径、校验值、日志、截图。证据里没有的,就当没发生。

第二刀切在不可逆操作上

测试小队后来定成这样的角色:

  • 总指挥:只定目标和优先级。
  • 写代码的:负责实现和一线整合,也是唯一能合并的一方。
  • 操机的:负责真机、执行脚本和方案。
  • 审查的:只审不合,按校验值抽核,给出结论。
  • 统筹的:管合同、排期、口径,每小时汇总进展。

我自己的位置也写进去了:只在不可逆的节点点头。合主干、写库、上传截图、退登录重新取证,这些动作做了就收不回,必须我当轮、逐项、亲口批准。

逐项这一点很重要。有一次协调的 Agent 转述说我已经拍板了,写代码的那个没有照做,而是请协调方让我本人再确认一句。我回的是「和、上库啊」。一字之差的错别字不要紧,要紧的是这句话出自我本人。转述的拍板不算授权,哪怕转述的人没有恶意。

第三刀切在说话权上

另一个小队是做儿童科普视频的内容组,它出过另一种乱:选题刚定,几个 Agent 同时给制作方下指令,同一个成片被好几个成员各发一遍。

我后来定的规矩是:每期一个总控;被 @ 的才动;我的问题由一个人统一答复;同一个文件只由当期负责人发一次。我当时的原话是:「我@谁谁关注。其他人别浪费我token。」

测试小队那边也一样,每小时的进展只报新增,没有变化就不发,同一组待批事项只 @ 我一次。多 Agent 群聊里,每一句「收到」「在等」都要被所有成员读一遍。说话权不收,消耗的就是所有人的上下文和我的注意力。

交接靠文件,不靠聊天记录

权力切清楚以后,剩下的是交接。我们的做法是把交接从聊天里搬到文件里:

  • 合同带版本号,方案按 v1、v2、v3 逐版审,旧版不改。
  • 交付带三件套:路径、校验值、审查记录。群里只贴校验值和一句结论,不贴大段内容。
  • 交接说明写进仓库,修订另起新文件,不覆盖旧版。

这里用的是 Grok Bot 的多 Agent 组织方式:每个 Agent 有自己的长期记忆和技能,有的在共用的云电脑上干活,有的直接在我的电脑上操作,大家在项目群里协作。聊天适合讨论,但聊天记录会被压缩,会被转述走样,文件和校验值不会。

规矩是从事故里长出来的

回头看,这两个小队现在用的规矩,几乎每一条都对应一次具体事故:

规矩由来
成果及时推到远程仓库,私人录音和密钥不进公开仓库云电脑被还原过一次
空断言不算通过,每次运行的目录不能被覆盖审查发现执行器更像固定用例的回放,可信度有漏洞
执行和验收分开第二批没有动作回执,根因定不了
不抢我电脑的鼠标键盘,手机镜像只用来看屏自动化和我共用一台电脑
看板区分「通路能跑」和「正式闭环已验」能跑通被当成了测过
只认用户亲口说的「合」一句确认上文的「嗯」被当成了合并批准
每期一个总控,同一文件只发一次多人平行指挥

我没有一开始就设计出这张表,它是一条一条补出来的。我的经验是:不要试图事先想全所有规则,但每出一次事故,当天就把对应的规矩写进合同或 Skill,并且写清由来。写清由来的规矩,后来的 Agent 才知道它为什么存在,不会在「看起来没必要」的时候把它绕过去。

这套分工跑到现在只有一周多。代价也很明显:不可逆的节点都在等我,正式闭环还没有跑通。可我宁愿慢在等授权上,也不想快在没人能复核的结论上。