那批没人在意脏数据的清洗规则，我让AI写了，还要团队照着审

一、管理者的隐痛：清洗规则永远是“某个人脑子里的东西”

带过数据团队的人都遇到过这个场景：业务系统迁移、老客户数据合并、或者临时导出一批表格做分析，数据一到手，全是坑。

电话号码混着座机格式、姓名里夹着全角空格、地址字段被销售随手填成“客户自提”、日期有八种写法、同一家公司出现“XX有限公司”“XX有限责任公司”"XX Ltd"三个版本。数据分析师清洗这批数据的方式，通常是打开Excel或者写一段一次性Python脚本，凭手感处理，处理完脚本扔在某个文件夹里，下次换一批数据，重新再写一遍。

从管理视角看，这里有三个真正的风险：

第一，规则不可沉淀。 每个人清洗数据的逻辑都存在自己脑子里或者本地脚本里，人一离职，这批逻辑就消失了。下一批脏数据来了，团队从零开始。

第二，规则不可审计。 为什么把“NULL"“null”“-”"N/A"都当成缺失值？“李_明”里的下划线是删还是保留？这些决策没有人记录，出了数据事故，没人说得清当时为什么这么处理。

第三，规则不可复用。 同样是地址清洗，市场部一份规则、客服部一份规则、财务部又是一份规则，三个口径对不齐，月底对数据时互相指责。

我们团队规模不大，没有专职数据治理岗，不可能专门养一个人写数据字典。这个问题悬了很久，直到我们尝试让AI介入——不是让AI直接清洗数据，而是让AI批量生成清洗规则，人负责审核和定稿。

这个分工上的转变是关键：AI产出的不是结果，是可以被团队评审、存档、复用的规则资产。

二、AI使用流程：三步走，规则产出全程可控

第一步：让AI先“诊断”，别急着开药方

我们把脏数据抽样200行（脱敏后）连同字段说明一起丢给AI，只要求它输出一个问题诊断清单：每个字段存在哪几类脏数据、出现频率估计、可能的数据来源原因。

这一步AI做得比人快得多。人工抽样检查一个字段可能要十几分钟，AI几分钟内能给出全部字段的异常模式，包括一些肉眼容易忽略的，比如身份证号末位是x还是X、金额字段里混着中文逗号。

第二步：批量生成清洗规则，每条规则附带“理由”

诊断确认后，我们要求AI针对每个问题产出结构化的清洗规则，每条规则必须包含四个要素：匹配条件、处理动作、适用范围、业务理由。“业务理由”这一项是强制要求，因为它直接决定这条规则能不能通过人工评审——AI如果给不出合理的业务理由，说明这个问题需要人来判断。

第三步：双人评审 + 版本存档

AI输出的规则表会进入评审流程：数据负责人初审，业务方确认涉及业务判断的条目（比如“客户简称是否合并到全称”必须业务方点头）。评审通过的规则存入共享文档，标注版本号和适用数据批次。

从此以后，新来的脏数据先对照规则库跑一遍，规则库没有覆盖的新问题再走一轮“AI生成—人工评审—入库”。清洗这件事，第一次变成了一个有流程、有沉淀、有版本管理的工程。

三、可直接复制的提示词模板

这是我们团队实际在用的模板，你可以直接复制到任意大模型对话中使用：

# 角色
你是一名资深数据治理顾问，擅长为脏数据设计清洗规则。

# 任务
我会提供一份脱敏后的数据样本（CSV格式）和字段说明。
请分两步完成：

## 第一步：问题诊断
逐字段列出存在的数据质量问题，输出表格，包含：
字段名 | 问题类型（缺失/格式混乱/逻辑矛盾/重复/编码异常）| 示例值 | 估计占比 | 可能的产生原因

## 第二步：清洗规则
针对每个问题输出一条规则，格式为：
- 规则编号
- 匹配条件（尽量用可执行的判断逻辑描述）
- 处理动作（删除/替换/标准化/标记待人工确认）
- 适用范围（哪些字段或数据批次）
- 业务理由（为什么这样处理是合理的）
- 风险提示（这条规则可能误伤什么数据）

# 约束
1. 不确定的业务判断不要擅自决定，标记为"需人工确认"并给出建议选项
2. 涉及个人信息字段，规则需兼顾脱敏合规要求
3. 优先给出保守规则：宁可标记待确认，不要自动删除
4. 输出末尾附上你认为还需要我补充的背景信息清单

# 数据样本
（在此粘贴数据）
# 字段说明
（在此粘贴字段含义）

两条经验：一是“风险提示”那一项别删，它经常提前暴露规则的坑；二是让AI最后反过来问你缺什么背景信息，能显著减少它瞎猜的概率。

四、用AI前后的对比

效率层面： 过去处理一批中等规模的脏数据（几十个字段、几万行），熟悉业务的人摸问题、写脚本、试错，通常要两三天。现在诊断加规则生成在一小时内完成，人工评审半天，总体压缩到一天以内。更重要的是，第二批同类数据进来，直接复用规则库，只剩执行环节。

协作层面： 以前清洗逻辑只有执行者自己懂，评审者只能看结果猜过程。现在规则是一张人人都看得懂的表，业务方参与评审时能直接指出“这条不对，我们业务上要保留原值”，分歧在规则阶段就解决，而不是在数据事故之后。

风险控制层面： 每条规则有版本、有理由、有签署人，数据出问题时可以追溯到具体规则，而不是追溯到“当时是谁处理的”。对一个没有专职数据治理岗的小团队，这是花最小成本买到的审计能力。

需要泼的冷水： AI生成的规则大约有10%—15%需要修正或废弃，常见问题是过度标准化（把本来有业务含义的差异抹平了）和对边界值想当然。所以人工评审环节不能省——AI提效的是规则的“起草”，规则的责任始终在人和流程。

五、写在最后

脏数据清洗是大多数小团队都在做、但很少有人当成“工程”来管理的事。AI的价值不在于替你点几下鼠标，而在于把原本存在于个人脑中的经验，低成本地转化为团队可评审、可沉淀、可复用的规则资产。如果你正在寻找稳定可靠的模型API来落地这类工作流，可以试试 https://api.thistoken.ai/register ，注册即可开始搭建你自己的数据处理流水线。

---

本文的示例只需一个 API Key 就能复现：在 https://api.thistoken.ai/register 注册即用。