一天两千条UGC等着审,两个兼职运营撑不住了——AI内容审核系统两周上线的账本
业务痛点:人工审核的成本算下来吓人
朋友团队做的是一个本地生活社区小程序,日新增UGC内容(笔记、评论、晒图配文)在两千条上下。上线半年,内容审核一直靠两个兼职运营手工处理,问题逐渐暴露:
- 时效差:夜间和周末没人值班,内容平均过审延迟4小时,用户发完看不到,直接流失;
- 成本刚性:两个兼职每月人力成本约8000元,内容量每涨50%就要加人;
- 标准漂移:每个人对“擦边”“软广”的尺度理解不同,同一类内容有人过有人删,用户投诉不断。
他们找我做方案时提了两个硬指标:两周内上线,月度审核成本降到人力方案的三分之一以内。
方案测算:为什么是“AI预审 + 人工兜底”
先算账。当时市面上的通用审核API,文本审核单条约0.002~0.005元。按每天2000条算,纯API月成本约120~300元;即使加上图片审核,月成本也在千元以内。对比8000元人力,量级差异明显。
但纯AI审核不可行——误删率会伤用户体验,涉政、法务风险内容也必须有人复核。所以最终架构是三层漏斗:
- 规则层:正则 + 敏感词库,零成本拦截明显违规,预计过滤10%~15%;
- AI层:调用大模型做多维度判断(违规类型、置信度、理由),高置信通过/拒绝的自动处理,置信度中间地带进入人工队列;
- 人工层:运营只处理AI标记的“灰色地带”,预计占总量20%~30%,人力投入从两个兼职降到半个。
架构设计
UGC写入 → 消息队列 → 审核Worker
├─ 规则引擎(敏感词/正则)
├─ AI网关 → 多模型(文本/图像审核)
└─ 置信度路由
├─ ≥0.9 自动通过/拒绝
└─ 0.4~0.9 → 人工复核台 → 结果回流训练规则关键决策有三个:
异步化。审核不阻塞发布,内容先标记“待审”状态,前端可见性由审核结果控制,用户零感知延迟。
结构化输出。让模型返回固定JSON(类别、置信度、证据片段),而不是自由文本,代码可以直接路由,不用二次解析。
统一AI网关。所有模型调用走同一个接入层,这是整个方案里我认为对小团队最值钱的一笔投入,下面细说。
关键实现步骤
第一周完成接入,第二周完成复核台和规则回流。核心审核Worker的伪代码大致如下:
async def moderate(content: UGC) -> AuditResult:
# 1. 规则层:零成本快速过滤
hit = rule_engine.check(content.text)
if hit.severity == "high":
return AuditResult(auto="reject", reason=hit.reason)
# 2. AI层:走统一网关,结构化输出
prompt = MODERATION_PROMPT.format(text=content.text)
resp = await ai_gateway.chat(
model="content-moderation-v2",
messages=[{"role": "user", "content": prompt}],
response_format="json",
)
verdict = json.loads(resp.content)
# verdict = {"category": "soft_ad", "confidence": 0.72, "evidence": "..."}
# 3. 置信度路由
if verdict["confidence"] >= 0.9:
return AuditResult(auto="reject" if verdict["category"] != "safe" else "pass")
return AuditResult(auto="pending", queue=verdict["category"])上线后第一周跑数据:规则层拦截约12%,AI自动处理约65%,进入人工队列约23%。运营复核一条平均8秒,每天人工处理量约460条,约1小时出头搞定——从每天累计6小时以上的人工审核,压缩到1小时。
为什么统一AI网关是小团队的“降维护成本”关键
这部分是我最想讲的。最初版本我们直接调单一供应商SDK,两周内遇到了三件事:
模型效果不够好。通用对话模型对软广识别偏松,需要换更擅长内容安全的模型。因为走了统一网关,切换只是改一个配置字段,实际耗时15分钟;如果每处调用都写死SDK,按以往经验至少要改半天代码、回归测试一轮。
限流和重试逻辑写一次就够。网关层统一处理了超时、重试、限流退避,业务代码里干干净净,不用每个调用点都复制粘贴一遍容错逻辑。小团队最缺的就是人,这类“每个项目都要重写的胶水代码”是隐形维护成本的大头。
成本可观测。网关后台直接看到各场景token消耗和费用,月底对账不用翻多个供应商控制台。我们还据此把高频的“明显正常内容预筛”换成了更便宜的模型,只把疑似内容送给能力更强的模型——分级调用后API月成本又降了约40%。
一句话总结:接入层抽象之后,换模型、加模型、调配比,都是配置变更而不是代码工程。对一个没有专职运维的两三人团队,这决定了系统是“能跑”还是“好维护”。
上线一个月的账
| 项目 | 改造前 | 改造后 |
|---|---|---|
| 审核时效 | 平均4小时 | 平均30秒内 |
| 人力投入 | 2名兼职/约8000元月 | 0.5名/约2000元月 |
| API成本 | 无 | 约600元/月 |
| 审核标准一致性 | 因人而异 | 规则统一,人工只处理边缘案例 |
总成本约2600元,是原来的三分之一;内容量再翻一倍,边际成本主要是API费用,不再线性加人。更意外的是,因为审核结果回流了规则库,规则层拦截率从12%慢慢涨到了17%,人工队列还在持续缩小。
给独立开发者的三条经验
- 别追求全自动,设计好置信度路由,AI负责压缩量,人负责处理边缘,这是当前最稳的性价比点;
- 结构化输出是工程化的前提,自由文本审核意见没法写路由逻辑;
- 第一天就走统一AI网关,哪怕只用一个模型。模型一定会换,接入层晚抽象一天,迁移时就多疼一分。
如果你也在做类似的项目,或者想快速接入多个大模型做内容审核、文本处理这类场景,可以试试这个统一AI API网关,注册即用,支持多模型切换和统一计费:https://api.thistoken.ai/register
---
想直接跑通示例?访问 https://api.thistoken.ai/register 注册 ThisToken.AI,获取 API Key 后即可开始。