大促前两周才动手 - 我用多模型分工把客服首响时间压到原来的三分之一

业务痛点：一个模型扛不住所有问题

朋友的电商团队，三班倒一共六个客服，日常咨询量每天两千多条。以前接过一个客服机器人，但不到一个月就暴露了问题：为了准确率选了顶级模型，成本高得离谱；换便宜模型，复杂售后问题的回复又经常需要人工返工。客服每天真正省下的时间有限，还要花时间去纠正机器人的错答案——算下来效率是负的。

拆开咨询记录一看（这里用的是他们自己的脱敏统计，不代表行业数据），问题的分布其实非常不均匀：

• 约70%是标准化问题：查物流、问尺码、退换货政策；
• 约25%是半结构化问题：订单异常、优惠券没到账，需要查接口再组织语言；
• 约5%是复杂纠纷：情绪激动的客户、多方责任认定，必须人来处理。

一个模型打天下，意味着你用最贵的能力处理最简单的问题，又用不足的能力处理最难的问题。解法不是换更强的模型，而是分工。

架构设计：按问题复杂度分层路由

核心思路是三层漏斗，越往下越贵、越少触发：

用户消息
   │
   ▼
[第一层] 轻量分类模型（小参数量，成本约为旗舰模型的1/50）
   ├── 标准问题 → FAQ检索 + 模板生成回复      （目标：<3秒，零人工）
   ├── 需查数据 → 调用订单/物流API + 中档模型生成 （目标：<8秒）
   └── 复杂/情绪类 → 直接转人工，AI只做预处理摘要

这里有个关键决策：所有模型调用走同一个统一AI API网关，而不是在代码里分别接各家SDK。为什么这一步能省维护成本？

1. 只维护一套鉴权、重试、超时逻辑。 三个模型三个SDK，每个都有自己的版本节奏和坑。收拢到网关后，应用侧只面对一个HTTP接口，模型切换对业务代码零侵入。
2. 监控和计费有单一出口。 哪个分类消耗了多少token、哪个环节延迟超标，网关日志一目了然，不用在三家后台之间来回切换对账。
3. 换模型变成改一行配置。 大促前压测发现某模型排队，切备用模型只改网关路由规则，不用发版。

关键实现步骤

两周的排期大概这样切分（按一个全栈 + 一个兼职开发的配置）：

第1-2天：数据摸底。 导出近一个月咨询记录，人工标注1000条样本，跑出上面那个分层比例。这一步不能跳过——路由阈值全靠它定。

第3-5天：网关搭建与分类器训练。 接统一网关，先用少量样本做few-shot测试分类准确率，低于90%就补样本。分类提示词存成可热更新的配置。

第6-9天：三条链路分别实现。 核心代码骨架大致是：

async def handle_message(msg):
    intent = await gateway.chat(
        model="light-classifier",
        messages=[classify_prompt(msg)],
        max_tokens=20
    )
    if intent == "faq":
        doc = faq_search(msg)
        return template_render(doc)          # 不调大模型，直接出模板
    elif intent == "order":
        data = await fetch_order_api(msg.user_id)
        return await gateway.chat(
            model="mid-tier",
            messages=[compose(msg, data)]
        )
    else:
        summary = await gateway.chat(
            model="mid-tier",
            messages=[summarize_for_agent(msg)]
        )
        return escalate_to_human(summary)    # 转人工并附AI摘要

第10-12天：灰度上线。 先只放FAQ层，AI回复全部落库，人工抽查两天。确认无误后放开订单层，复杂场景始终保持转人工。

第13-14天：压测与降级预案。 大促流量峰值下网关限流、备用模型切换的演练。

效率对比：数字说话

上线两周后（他们自己的前后对比，仅供参考）：

真正的收益不只是快：客服的工作内容从“复制粘贴模板”变成了“处理真正需要判断的事”，这部分价值很难直接折算成钱，但离职率会告诉你答案。

三个踩坑提醒

1. 分类器宁可保守。分错类导致的体验损伤，远大于多花一点token的成本，模糊地带默认往高一层走。
2. FAQ层能不用模型就不用。检索加模板响应是毫秒级的，准确率也是最高的，别为了“用了AI”而调模型。
3. 转人工的摘要一定要做。AI先把问题、订单号、客户诉求整理好再给人工，平均每单能为客服省下一两分钟的上下文确认时间。

如果你也想快速搭这样一套多模型协作链路，建议从统一网关起步——注册一个账号就能把主流模型的调用收进一个入口，路由、计费、监控一步到位：https://api.thistoken.ai/register

---

想直接跑通示例？访问 https://api.thistoken.ai/register 注册 ThisToken.AI，获取 API Key 后即可开始。