电商客服接入大模型，我按“问题难度”分了三条路，人力成本砍掉七成
业务痛点
朋友带着一个五人小团队做跨境电商，主营家居用品，店铺开在三个平台。客服是他们最头疼的成本项：
- 每天约 2000 条咨询，其中 70% 是重复问题：物流查询、退换货政策、尺寸咨询
- 剩下 30% 里有大量“半复杂”问题：订单改地址、组合优惠计算、投诉初判
- 真正需要人工的复杂纠纷占比不到 5%，但人工客服每天被前两类问题淹没，根本没精力处理
之前他们试过“一刀切”方案：全部接一个便宜的小模型。结果改地址、优惠计算这类问题错误率太高，客户投诉反而上升；换贵的大模型，一个月 Token 账单烧掉两万多，老板直呼受不了。
问题的本质不是“选哪个模型”，而是没有按问题难度分配模型资源。
架构设计：三级分流 + 统一AI API网关
核心思路：把客服请求按难度分流到三条处理路径，用一个统一网关管理所有模型调用。
用户消息
│
▼
┌─────────────┐
│ 意图分类器 │ ← 轻量模型，只做分类，单条成本可忽略
└─────────────┘
│
├── L1 简单咨询（约70%）──→ FAQ库 + 向量检索，小模型生成回复
│ 成本：几乎为零，响应 <2秒
│
├── L2 半复杂（约25%）──→ 中档模型 + 订单API工具调用
│ 成本：中等，响应 3-5秒
│
└── L3 复杂纠纷（约5%）──→ 旗舰模型分析 + 生成工单草稿 → 转人工
人工只做确认和沟通为什么能省钱？ 关键在成本结构的变化：
| 项目 | 改造前（全用旗舰模型） | 改造后（三级分流） |
|---|---|---|
| 月度 Token 成本 | 约 21000 元 | 约 4800 元 |
| 人工客服人力 | 5 人 | 2 人（处理 L3） |
| 首次响应时间 | 4-8 秒 | 70% 请求 <2 秒 |
L1 用小模型加缓存，重复问题的边际成本趋近于零；L3 只占 5% 流量，用最贵的模型也不心疼。贵的模型用在刀刃上，而不是撒胡椒面。
关键实现步骤
第一步：搭统一AI API网关（第 1-2 天）
这是整个架构的地基。网关统一管理所有模型调用，好处后面细说。
第二步：构建意图分类层（第 3-5 天）
分类器不需要完美，85% 准确率就够用——分类错误的兜底策略是：L1 路径连续两轮无法解决时自动升级到 L2。
分类 prompt 的核心结构：
CLASSIFY_PROMPT = """你是电商客服意图分类器。
将用户消息分为三类，只输出类别编号：
1 = 简单咨询（物流、退换政策、产品参数、尺码）
2 = 半复杂（改地址、优惠计算、发票、多订单关联）
3 = 复杂纠纷（投诉、赔偿、平台介入、情绪激烈）
判断依据：
- 涉及写操作或计算 → 至少 2
- 出现投诉关键词或负面情绪 → 3
- 拿不准时宁可高判，不要低判
用户消息：{message}
类别："""第三步：三条路径分别实现（第 6-12 天）
L1 路径的流程清单：
□ 用户消息向量化 → FAQ 库检索 Top3
□ 相似度 > 0.82 → 小模型基于检索结果生成回复
□ 相似度 < 0.82 → 降级到 L2 处理
□ 记录会话，连续 2 轮未解决 → 升级人工
□ 每 50 条抽样人工复核，错误案例回流 FAQ 库L2 路径需要给中档模型挂工具：订单查询 API、地址修改 API、优惠规则计算器。模型只负责理解意图和调工具，计算交给确定性代码——永远不要让大模型做算术。
L3 路径的重点不是替人工回复，而是让旗舰模型提前做完信息整理：订单时间线、客户诉求摘要、建议处理方案，人工客服接到工单时直接看结论，单案处理时间从平均 15 分钟降到 6 分钟。
第四步：监控与迭代（持续）
上线后每周复盘三件事：分流比例是否漂移、各路径解决率、升级人工的原因分布。
为什么统一AI API网关能降低维护成本
这是我最想强调的一点。改造前他们的问题是：三个平台、四五个模型、每个模型一套 SDK 和 Key，光“改一个模型配置”就要动三处代码。
统一网关之后：
- 一套 Key、一个端点。应用代码只对接网关，切换模型（比如 L2 从 A 模型换到 B 模型）只改网关配置，业务代码零改动。上线后我们做过一次模型替换，10 分钟完成，以前至少要半天。
- 统一计费和用量观测。三条路径的成本一目了然，“L2 占了 60% 账单但只解决 25% 问题”这类洞察，没有统一入口根本看不出来。
- 统一的限流、重试、降级逻辑。写一次，所有路径共享。某天小模型服务商抖动，网关自动降级到备用模型，业务方完全无感。
- Key 不再散落在代码库里。之前那次“离职员工带走配置文件”的虚惊之后，这一点对小团队来说是安全底线。
粗算下来，网关让这个五人团队的模型相关维护时间从每周约 10 小时降到 2 小时——对独立开发者来说，省下的时间就是最贵的成本。
结语
整个改造用了三周，总投入不到一个人月，换来的是每月成本从两万多降到五千以内，客服人力释放三人转去做选品和运营。对于想快速落地的独立开发者，我的建议是：先搭网关，再做分流，最后才优化单条路径——顺序反了会反复返工。
如果你想动手试试这套架构，可以从注册一个统一AI API 网关服务开始，把多模型管理这一步先跑通：https://api.thistoken.ai/register
---
想直接跑通示例？访问 https://api.thistoken.ai/register 注册 ThisToken.AI，获取 API Key 后即可开始。