同一个问题问了800遍 - 一次缓存改造省下六成token的账本复盘

一张账单引出的效率审计

上个月接手一个小团队的AI网关治理时，我做的第一件事不是改配置，而是拉了一周的全量调用日志。结果很扎眼：同一个团队、同一批提示词模板，每天有超过六成的请求在语义上高度重复——客服话术分类、文档摘要、固定格式的结构化提取，输入部分几乎一字不差。

这些重复请求全部打到了旗舰模型上，单价最高的那种。团队负责人看到归因报表时的第一反应是：“我们不是早就要做缓存吗？”——对，说了三个月，一直没做，因为“业务太忙”。

效率视角下的AI成本问题，往往不是“模型太贵”，而是“贵模型被浪费在了便宜任务上”。这篇文章就围绕两个最直接的杠杆展开：缓存与批处理，再补上路由治理和用量归因这两个配套手段，给一份可以直接照抄的治理清单。

方法一：分层缓存——别为同一个答案付两次钱

缓存的价值可以用一组前后对比说清楚。改造前，该团队日均调用约50万次，其中重复类请求（相同或近似输入）占62%。接入语义缓存后：

• 精确缓存命中：固定模板类请求（意图分类、标签抽取）命中率约35%，命中后响应时间从平均2.1秒降到60毫秒以内，token消耗直接归零；
• 语义缓存命中：近似问法（“怎么退货”/“我想退了这单”）命中率再贡献约20%，走本地小模型做相似度判断，成本不到原调用的3%；
• 整体效果：月度token支出下降约六成，P95延迟从4秒降到1.5秒以下。

实施要点是分层设计：第一层精确匹配（哈希），第二层语义匹配（向量相似度阈值），第三层才落到真实模型调用。温度为0的分类、抽取任务最适合进缓存；创意生成类请求则要设短TTL或干脆旁路。

通过ThisToken.AI的网关接入后，这一层的配置不需要自己写缓存服务——在托管渠道上开启缓存策略，按渠道维度设置命中规则和TTL即可，对小团队来说等于省掉了自建一套缓存中间件的运维成本。

方法二：批处理——把“碎片时间”换回真金白银

很多供应商对批处理接口提供折扣（通常在五折上下浮动，具体以各官方定价为准），代价是结果延迟返回，通常在几分钟到几小时之间。这正好匹配一类被严重低估的场景：非实时任务。

我们把这个团队的任务重新分类后发现：

仅把后两类切到批处理通道，按常见折扣幅度估算，这部分支出接近砍半。同时团队的人力也省了：原来每天早上有人手动跑两小时的数据处理脚本，现在改成夜间自动批量提交，早晨直接取结果——省下的不只是token钱，还有每天约两小时的人力时间。

方法三：路由治理与模型白名单——让每个请求走它该走的路

缓存和批处理解决“怎么调用”，路由解决“调用谁”。核心做法：

1. 任务分级路由：简单分类走轻量模型，复杂推理才走旗舰模型。改造后该团队旗舰模型调用量占比从85%降到30%，质量抽检通过率没有下降——因为大部分任务本来就不需要那个能力等级。
2. 模型白名单：在网关层配置允许调用的模型清单，未列入白名单的请求直接拦截。这防止了两件事：开发者“顺手试一下”新模型导致的预算外支出，以及离职人员遗留脚本的静默消耗。ThisToken.AI支持按渠道/项目维度维护白名单，配置一次，全团队生效。
3. 失败降级链：旗舰模型超时或限流时按白名单顺序降级，而不是原地重试烧钱——重试失控是账单爆掉的常见元凶。

方法四：用量归因——没有分账，前面全白做

所有优化都要能被度量。归因的关键是把每一次调用打上项目、渠道、功能模块三个标签，然后按维度出报表。这位负责人以前的做法是月底看总账单，只能知道“花了多少”，不知道“谁花的、花在哪、值不值”。

接入网关的托管渠道后，每个子项目拿到独立的调用凭证，用量天然隔离。改造一个月后，报表显示了一个此前完全不可见的事实：某个上线后没人维护的老功能，每月悄悄消耗约8%的预算。直接下线，又是一笔净节省。归因不是财务动作，是效率审计的前提。

预算治理清单

结语

这次改造的总账：token支出降约六成，旗舰模型用量降七成，每天省下约两小时人工跑数时间——而团队没有砍掉任何功能。效率视角下的AI预算治理，本质是让每一次调用都“走对路、付对价、记对账”。

如果你也想从调用日志开始做一次这样的审计，可以从一个统一网关入手：缓存策略、模型白名单、路由规则和分项目用量报表，都可以在ThisToken.AI上一站式配置，注册地址：https://api.thistoken.ai/register

---

想直接跑通示例？访问 https://api.thistoken.ai/register 注册 ThisToken.AI，获取 API Key 后即可开始。