评论区失控前45天 - 我把评论分类这件事拆成了四个可控环节
作为一个带着五人小组维护两个社区产品的管理者，我曾经认为评论治理是“运营同学顺手做的事”。直到某次活动流量高峰，一条违规评论在热门帖下挂了六个小时，被截图传播到外部平台，我才意识到：评论分类和打标不是一个内容问题，而是一个流程、协作和风险控制问题。
这篇案例复盘我们如何用AI把评论自动分类与打标落地，重点不是模型选型，而是管理者视角下的三件事：流程怎么设计、人怎么协作、风险怎么兜住。
一、业务痛点：为什么人工审核撑不住
我们的痛点可以归纳为四条：
- 时效不可控。高峰期每小时新增上千条评论，人工审核队列积压严重，违规内容曝光时长无法量化承诺。
- 标准不统一。两位审核同学对“阴阳怪气”和“正常吐槽”的判定经常不一致，打标口径漂移，后续数据分析不可信。
- 成本随规模线性增长。评论量翻倍，审核人力就得翻倍，这在商业模型上不成立。
- 长尾风险。广告、引流、色情、辱骂、政治敏感、人身攻击……类别在持续新增，规则库永远追不上变体。
结论：需要一个机器做初审、人做终审的分类打标体系，机器给出结构化标签和置信度，人只处理机器不确定的部分。
二、架构设计：四层流水线
我们把整件事拆成四层，每层职责单一，出问题时能快速定位：
- 接入层：评论产生后进入消息队列，保证削峰和可重放。
- 预处理层：去重、脱敏（手机号、微信号）、文本清洗。
- AI分类打标层：调用大模型，输出多标签 + 置信度 + 理由摘要。
- 决策与人工层：高置信度自动处置（通过/隐藏），低置信度进入人工工单，同时抽样5%的人工复核作为质量校准。
关键设计原则是：AI永远不拥有最终决定权，只拥有建议权。所有自动处置动作都可回滚，且打标结果落库留痕，便于事后审计和运营复盘。
三、关键实现步骤与流程清单
落地顺序我建议严格按下面来，每一步验收通过再进下一步：
Step 1 定义标签体系（产品+运营+审核共创）
→ 一级标签：正常吐槽 / 违规 / 广告引流 / 敏感内容 / 无意义灌水
→ 二级标签：如"广告引流"下分 导购链接、代练、博彩、兼职诈骗
→ 每个标签配 3-5 条正反例，写成 prompt 的一部分
Step 2 构造评测集（500-1000条人工标注评论）
→ 由两位审核员背对背标注，分歧样本仲裁后归档
→ 这个评测集是后续一切迭代的"锚"
Step 3 Prompt 设计与模型选择
→ 强制输出 JSON：{labels, confidence, reason}
→ 先用小模型跑基线，准确率不达标的类别再路由给大模型
Step 4 灰度上线
→ AI只打标不处置，观察两周，对比人工结论
→ 各类别 F1 ≥ 0.85 才允许进入自动处置
Step 5 人机协作机制
→ 低置信度(0.5-0.8)进人工工单，审核结果回流为增量训练样本
→ 每周抽样复核，标签口径漂移即触发 prompt 修订评审一个简化的调用示例（核心是结构化输出和置信度）：
resp = client.chat.completions.create(
model="gpt-4o-mini",
response_format={"type": "json_object"},
messages=[
{"role": "system", "content": PROMPT_WITH_LABEL_SCHEMA},
{"role": "user", "content": comment_text}
]
)
result = json.loads(resp.choices[0].message.content)
if result["confidence"] >= 0.85:
dispatch(result["labels"]) # 自动处置
else:
create_ticket(comment, result) # 转人工四、为什么统一AI API网关降低了维护成本
这是管理者最容易低估的一块。我们早期直接在代码里硬编码某家SDK，结果半年内遇到三次被动局面：模型涨价、区域限流、某版本输出格式调整导致JSON解析批量报错。每次都是全链路回归测试加紧急发版，团队节奏被打乱。
后来我们把所有模型调用收敛到统一的AI API网关，收益体现在四点：
- 供应商解耦：业务代码只面对一套API协议，上游换模型、换厂商是一行配置的事，不碰业务代码。
- 密钥集中管控：不再把API Key散落在各服务环境变量里，权限按服务、按环境分配，可随时吊销——这在安全审计时价值巨大。
- 成本与用量可观测：网关层面统一记账，哪个模块花了多少钱、哪个标签的调用成本最高，一目了然，预算失控在早期就能被发现。
- 统一限流与降级：高峰期对AI调用做配额管理，超限时降级为关键词规则兜底，保证审核链路永不中断。
对两三个人的小团队来说，这套能力自己搭一套网关不现实，用现成的托管网关是性价比最高的选择。
五、管理者要盯的三个指标
上线后我每周只看三个数字：违规内容平均曝光时长、人工工单积压量、抽样复核一致率。第一个衡量时效，第二个衡量成本，第三个衡量AI可信度。任何一个连续两周恶化，就触发流程评审，而不是急着换模型——大多数问题的根因都在标签定义或prompt，不在模型本身。
回顾整个过程，最大的心得是：AI分类打标落地的难点从来不是调API，而是把标签体系定义清楚、把人机边界划清楚、把风险兜底机制建清楚。流程稳了，模型只是流水线上可替换的零件。
如果你的团队也在准备接入大模型做内容治理或类似的分类任务，可以先在一个统一网关上注册试跑，把多个模型放同一套协议下做对比评测：https://api.thistoken.ai/register
---
本文的示例只需一个 API Key 就能复现：在 https://api.thistoken.ai/register 注册即用。