每天两万条评论等着人看？管理者先定规则，再让AI去分
业务痛点：分类这件事，卡住的不只是人力
我管理着一个二十人左右的社区产品团队。产品上线一年多，日活评论量涨到每天两万条上下。评论不处理不行：垃圾广告要删、违规内容要标记、优质长评要精选、用户投诉要转客服。但真要处理，问题一个接一个。
第一版方案是纯人肉：三个运营同学轮班，每人每天看几百条，效率低不说，标准还不统一。同一个“软广疑似”的评论，A标了广告，B标了正常讨论，月底复盘时数据根本没法用。第二版方案是关键词过滤，结果误伤率太高，正常讨论里带个品牌名就被拦，用户投诉反而变多了。
站在管理者的角度，我总结出核心矛盾其实是三个：
- 标准不统一：人对“边界内容”的判断天然发散，规则写进文档也没用。
- 流程不闭环：分完类没人跟进，标记了“投诉”却没进客服工单，等于白标。
- 风险不可控：AI分类一旦误判，删错一条正常评论，引发的舆论代价远大于省下的人力。
所以这次方案设计，我优先考虑的不是“模型多聪明”，而是规则如何统一、责任如何划分、误判如何兜底。
架构设计：三层结构，人机各管一段
最终落地的架构分三层：
第一层：规则与策略层（人说了算）
分类体系由运营、客服、法务一起定，共六个一级标签：正常讨论、广告 spam、违规内容、用户投诉、产品建议、优质内容。每个标签配明确的判定说明和三个边界案例。这些规则以配置文件形式维护，AI 的 system prompt 直接引用，改规则不用改代码。
第二层：AI 分类层（机器干活）
评论进入队列后，先过一轮廉价模型的粗分类（打标签 + 置信度），高置信度的直接落库；置信度低于阈值的进入人工复核队列。部分明显违规的高危类别（如涉政涉黄）走二次模型交叉校验，双模型都命中才自动处理，否则一律进人工。
第三层：人工监督与回流层（闭环）
运营在复核后台处理低置信度样本，每次人工修正的结果都会回流到日志系统，每月复盘一次：哪些类别的误判率在涨、是规则描述不清还是模型能力不足，对应去改规则配置或换模型。
关键设计点：AI 只做“分”和“标”，不做“删”。所有删除、封禁动作保留人工按钮，或设置极高的自动处理门槛。这是给管理者的风险底线。
关键实现步骤与流程清单
落地顺序建议如下，整个流程我们两周跑通：
1. 定标准：跨部门拉齐标签体系，每个标签写判定规则 + 边界案例
2. 挑样本：从历史评论抽取 2000 条，人工标注作为验收基准
3. 选模型：用统一网关接入 2-3 个候选模型，跑离线评测对比准确率
4. 建管道：评论队列 → AI 打标（含置信度）→ 分流
5. 设阈值：置信度 ≥ 0.9 自动落库；0.6–0.9 进人工复核；< 0.6 直接人工
6. 开复核后台：运营操作界面，修正结果写回日志
7. 建回流机制：每周导出人工修正样本，月度复盘调整规则或模型
8. 灰度上线：先只标记不执行，观察两周误判率后再开放自动化动作
9. 设告警：分类失败率、API 超时率、单日成本三条监控线核心调用部分伪代码非常简单：
resp = gateway.chat(
model="router-default", # 网关侧路由：常规评论走便宜模型
messages=[
{"role": "system", "content": CLASSIFY_RULES}, # 规则配置文件
{"role": "user", "content": f"评论内容：{comment}"}
],
response_format="json"
)
label, confidence = resp["label"], resp["confidence"]为什么坚持走统一 AI API 网关
这个项目我坚持所有模型调用走统一网关，理由很实际：
一是供应商解耦。分类任务对模型的要求会随标签体系变化而变化，上个月用 A 模型够用，这个月加了“情绪极性”标签就可能要换。走网关意味着换模型只改一个参数，不用在代码里维护多家 SDK、各自的鉴权和错误码格式。
二是成本和用量一眼可见。评论分类是高频调用，成本失控往往就发生在没人看账单的时候。网关侧统一记录每次调用的 token 用量、失败率、延迟，按项目维度出报表，月底不用对着几家供应商的账单对半天。
三是故障收敛。模型接口超时、限流、偶发 500 是常态。网关层统一做重试、超时控制和备用模型切换，业务代码里不用每个调用点都写一遍容错逻辑——对小团队来说，这就是省下的维护人力。
灰度两个月后，我们的自动分类准确率稳定在 93% 以上，人工复核量从每天两万条降到两千条以内，运营把省下的时间用来做内容精选，反而多产出了社区价值。
写给准备动手的团队
三条经验：规则先于模型，人工兜底先于自动化，监控先于扩量。分类系统不是一次性项目，而是一个“规则—执行—修正”持续运转的流程，管理者的职责是把这三段循环建立起来，而不是亲自去调 prompt。
如果你的团队也在选 AI 接入层，可以看看这个统一网关，注册即用，多模型切换和用量报表都是现成的：https://api.thistoken.ai/register
---
本文的示例只需一个 API Key 就能复现：在 https://api.thistoken.ai/register 注册即用。