每周五下午我不再手写测试报告了——先说说前两次自动化为什么搞砸了

一、先承认：我们一开始的做法全是错的

我们是一个五人小团队，维护着一个迭代很快的业务系统。每周测试用例都有增删改：新增了回归用例、废弃了过时用例、调整了参数化数据。老板和客户都想知道“这周测试资产到底变了什么”，于是“每周测试用例变更报告”这个活儿落在了测试同学头上。

第一次自动化尝试，我们直接写了个 Python 脚本，diff 两周的用例文件，把差异原样输出。结果报告是一堆 JSON diff 片段，除了写脚本的人，没人看得懂。第二次更“聪明”：把 diff 结果整个丢给大模型，让它“帮我写一份报告”。AI 确实写了，洋洋洒洒两千字——但一半内容是编的。它给删除的用例补充了根本不存在的“删除原因”，还虚构了“影响模块”的关联分析。这份报告被客户引用去质疑需求变更，我们尴尬了一周。

复盘下来，失败原因很清楚：

1. 把“生成”当成了“理解”：diff 输出是机器视角，直接给人看没有意义，直接给 AI 看则是让它猜上下文。
2. 没给 AI 边界：不告诉它“哪些信息不存在就不要编”，它一定会用流畅的语言填补空白——这是大模型的天性。
3. 一次生成，没有校验：报告里每一句“为什么变更”都应该有出处，但我们没有任何回溯机制。

二、用户的痛点到底是什么

抛开我们自己的弯路，这件事对每个小团队都一样痛：

• 耗时：人工整理一份周报，翻记录、对版本、写说明，半天就没了；
• 质量不稳定：忙的时候敷衍，报告变成流水账，没人看也没人信；
• 知识在个人脑子里：谁写的用例谁记得原因，一旦请假，报告就断更；
• 格式每次都变：接收方（老板、客户、QA 负责人）要的口径不一致，反复返工。

AI 能做的，恰恰不是“替你写”，而是把结构化的差异数据，翻译成有上下文、有格式、可信的叙述——前提是你把流程搭对。

三、正确的流程：三步走

第一步：让机器干机器的事

用例存在 Git 仓库里（这很重要，天然有版本历史）。每周五定时跑脚本，产出结构化 diff:新增了哪些用例 ID、标题、所属模块；删除了哪些；修改了哪些字段。同时把本周的 commit message 和需求单编号一起导出——这是“变更原因”的真实出处，AI 只被允许从这里取材。

第二步：让 AI 干 AI 的事

把结构化 diff + commit 说明 + 固定的报告模板喂给模型，让它做翻译和归类：按模块分组、提炼共性原因、标注风险等级、生成摘要。关键约束写在提示词里：禁止推测、禁止补充不存在的信息、每条结论必须对应输入中的记录。

这是我们踩了坑之后打磨出的提示词模板，可以直接复制改造：

你是一名测试团队的报告撰写助手。请根据我提供的【结构化diff】和【commit说明】,
生成一份周度测试用例变更报告。

规则(必须遵守):
1. 只使用输入中出现的信息,禁止推测或编造变更原因;
2. 每条变更必须能对应到输入中的用例ID或commit编号;
3. 若某条变更没有对应说明,在"原因"栏写"待补充",不要自行填写;
4. 输出格式:
   ## 本周测试用例变更摘要(3句以内)
   ## 按模块分组的变更明细(表格:用例ID|操作|标题|原因|关联需求)
   ## 风险提示(仅当输入包含回归/失败记录时才写,否则省略此节)
5. 语气客观简洁,不使用营销化措辞。

【结构化diff】:
{paste_diff_here}

【commit说明】:
{paste_commits_here}

第三步：让人干人的事

测试同学只做两件事：抽查 AI 报告里两三条结论是否可回溯到原始记录(一分钟)；补上“待补充”的原因栏。十分钟内，一份可信的周报就发出去了。

关于成本：调用 API 的 token 消耗取决于团队用例规模，具体费用以你所用平台的官网价格页为准。对每周一次的批量任务来说，通常不会成为负担。

四、用 AI 前后对比

最大的变化其实不是省时间，而是报告从“个人产物”变成了“团队资产”——任何人接手都能看懂流程，历史报告格式统一，可以直接做月度、季度汇总。

五、给小团队的三条经验

1. 先修数据，再上 AI:用例进 Git、变更带说明，这步不做，AI 只能靠编。
2. 提示词的核心是“禁令”而非“指令”:告诉它不能做什么，比告诉它要做什么更能保证质量。
3. 永远留人工抽查位：AI 负责量产，人负责背书，这个分工别倒过来。

如果你也想把这类“每周一次的整理型工作”交给 AI 流水线，需要一个稳定的 API 调用渠道，可以看看这个平台：https://api.thistoken.ai/register ——注册即用，把它接到你现有的定时脚本里，第一份自动生成的周报下周就能发出来。

---

不想折腾多家供应商的接入差异？在 https://api.thistoken.ai/register 注册，用一个 base_url 调用所有模型。