多 Agent 协作最先出事的不是能力,是同一个 Agent 既操机又验收,自己给自己打分。
上周我们在做一套 AI 测试工具,目标是让 AI 在某超级 App 里自己跑一条真实业务链路,留下团队能复核的证据。一开始我让一个 Agent 带着本机的编码助手去操作模拟器,探页、截图、写结论,全由它一个人包了。
第一批跑得挺顺。第二批复核时出了问题:它只能证明「商城页和浮层页长什么样」,私有目录里没有任何动作回执,浮层是怎么弹出来的,根因定不了。所有人只好暂停新增动作。
当天我就改了分工:手机操作和协调交给另一个 Agent,原来那个停止操机、停止传话派活,只做只读审查。过了两天又加一条,审查的一方也不读凭据。
这件事给我的教训是:搭多 Agent 小队,先切的不是活,是权力。谁能动手,谁能验收,谁能合代码,谁能碰账号,这几件事分不开,后面怎么分活都会乱。
第一刀切在执行和验收之间
同一个 Agent 既操作又验收,相当于考生自己改卷。它不是故意作弊,问题出在信息上:操作的人知道自己「本来想点哪里」,看截图时会自动补全没有留下证据的那一步。
所以小队里第一条硬规矩是:执行者不能是验收者。审查方只读,不操作手机或模拟器,不改共用的工作树,不传话,不合并。它能接触到的只有交付物本身:路径、校验值、日志、截图。证据里没有的,就当没发生。
第二刀切在不可逆操作上
测试小队后来定成这样的角色:
- 总指挥:只定目标和优先级。
- 写代码的:负责实现和一线整合,也是唯一能合并的一方。
- 操机的:负责真机、执行脚本和方案。
- 审查的:只审不合,按校验值抽核,给出结论。
- 统筹的:管合同、排期、口径,每小时汇总进展。
我自己的位置也写进去了:只在不可逆的节点点头。合主干、写库、上传截图、退登录重新取证,这些动作做了就收不回,必须我当轮、逐项、亲口批准。
逐项这一点很重要。有一次协调的 Agent 转述说我已经拍板了,写代码的那个没有照做,而是请协调方让我本人再确认一句。我回的是「和、上库啊」。一字之差的错别字不要紧,要紧的是这句话出自我本人。转述的拍板不算授权,哪怕转述的人没有恶意。
第三刀切在说话权上
另一个小队是做儿童科普视频的内容组,它出过另一种乱:选题刚定,几个 Agent 同时给制作方下指令,同一个成片被好几个成员各发一遍。
我后来定的规矩是:每期一个总控;被 @ 的才动;我的问题由一个人统一答复;同一个文件只由当期负责人发一次。我当时的原话是:「我@谁谁关注。其他人别浪费我token。」
测试小队那边也一样,每小时的进展只报新增,没有变化就不发,同一组待批事项只 @ 我一次。多 Agent 群聊里,每一句「收到」「在等」都要被所有成员读一遍。说话权不收,消耗的就是所有人的上下文和我的注意力。
交接靠文件,不靠聊天记录
权力切清楚以后,剩下的是交接。我们的做法是把交接从聊天里搬到文件里:
- 合同带版本号,方案按 v1、v2、v3 逐版审,旧版不改。
- 交付带三件套:路径、校验值、审查记录。群里只贴校验值和一句结论,不贴大段内容。
- 交接说明写进仓库,修订另起新文件,不覆盖旧版。
这里用的是 Grok Bot 的多 Agent 组织方式:每个 Agent 有自己的长期记忆和技能,有的在共用的云电脑上干活,有的直接在我的电脑上操作,大家在项目群里协作。聊天适合讨论,但聊天记录会被压缩,会被转述走样,文件和校验值不会。
规矩是从事故里长出来的
回头看,这两个小队现在用的规矩,几乎每一条都对应一次具体事故:
| 规矩 | 由来 |
|---|---|
| 成果及时推到远程仓库,私人录音和密钥不进公开仓库 | 云电脑被还原过一次 |
| 空断言不算通过,每次运行的目录不能被覆盖 | 审查发现执行器更像固定用例的回放,可信度有漏洞 |
| 执行和验收分开 | 第二批没有动作回执,根因定不了 |
| 不抢我电脑的鼠标键盘,手机镜像只用来看屏 | 自动化和我共用一台电脑 |
| 看板区分「通路能跑」和「正式闭环已验」 | 能跑通被当成了测过 |
| 只认用户亲口说的「合」 | 一句确认上文的「嗯」被当成了合并批准 |
| 每期一个总控,同一文件只发一次 | 多人平行指挥 |
我没有一开始就设计出这张表,它是一条一条补出来的。我的经验是:不要试图事先想全所有规则,但每出一次事故,当天就把对应的规矩写进合同或 Skill,并且写清由来。写清由来的规矩,后来的 Agent 才知道它为什么存在,不会在「看起来没必要」的时候把它绕过去。
这套分工跑到现在只有一周多。代价也很明显:不可逆的节点都在等我,正式闭环还没有跑通。可我宁愿慢在等授权上,也不想快在没人能复核的结论上。