同一段Prompt发了一千次,我才发现有三成支出是“复读机”烧掉的
一张账单引发的疑问
上个月做用量归因时,我发现一个奇怪的现象:团队里有个内部文档问答服务,日均调用 4000 次左右,其中约 35% 的请求,prompt 前缀几乎完全相同——都是同一段“系统提示 + 检索上下文模板”,只在最后追加用户的具体问题。
换句话说,我们每个工作日都在为同一段上万 token 的前缀反复付费,还要反复等它被处理。按当时的服务时长估算,这部分“复读”开销折算下来,每名后端工程师每天要多等近 40 分钟的累计响应延迟,一个月下来就是几百人时的隐性成本。
这不是个例。很多团队的账单里,都藏着一台看不见的“复读机”。
缓存为什么能省钱省时间:三个层面
1. 供应商侧的 Prompt Caching
主流大模型 API 供应商陆续支持了 prompt 缓存机制:相同的前缀命中缓存后,输入 token 按折扣计费,且首 token 延迟(TTFT)明显下降。但各家规则不一——有的要求前缀达到最低 token 数,有的缓存有存活窗口,有的需要显式标记缓存点。这带来一个治理问题:你的应用层代码,要不要为每家供应商的缓存规则写适配逻辑?
我们的答案是不写。我们把请求统一接到 ThisToken.AI 的网关上,由网关层对接各供应商的缓存能力。应用代码只发标准请求,缓存命中与否在网关侧透明呈现。改造前,换一个模型供应商要重新研究一遍缓存文档、改一遍调用代码;改造后,切换模型对应用的缓存行为零影响。
2. 网关层的结果缓存:相同请求直接不再计费
供应商的 prompt 缓存只降输入成本,不消除重复。对于幂等性强的场景(文档摘要、分类打标、固定知识问答),更彻底的做法是在网关层做结果缓存:完全相同的请求直接返回缓存答案,这一笔调用在上游根本不发生,也就不计费。
我们在 ThisToken.AI 上为文档摘要类接口配置了结果缓存后,前后对比很直观:
- 上游调用量下降约 28%,对应支出同比例下降;
- 该接口 P95 响应时间从数秒级降到毫秒级;
- 高峰期的限流告警次数归零。
当然,结果缓存只适合“确定性输出可接受”的场景。对话类、创作类请求不要开,否则用户会拿到陈旧答案。这也是为什么我们把它做成按接口、按渠道的配置项,而不是全局开关。
3. 路由治理:让缓存友好的请求走对模型
第三层是路由。缓存的收益和模型选择是耦合的:同样一段 prompt 前缀,如果今天走 A 模型、明天走 B 模型,两边缓存都命不中。我们在 ThisToken.AI 的路由治理里做了两件事:
模型白名单:文档问答服务只允许路由到白名单里的两个模型,避免某次实验性切换让缓存全部失效。之前提到的“命中率掉了三成”的教训,根因就是有人临时切了模型没切回来。
托管渠道分组:把生产流量和实验流量拆到不同渠道,实验请求的缓存污染和成本波动不会传导到生产账单,用量归因也各自独立。
三种控制预算与用量归因的方法
具体落地时,我们沉淀了三个方法,供参考:
方法一:按渠道设置预算上限与熔断。 在 ThisToken.AI 上按项目创建托管渠道,每个渠道设月度预算上限,超限自动熔断并告警。这比月底看账单才发现超支要健康得多——我们曾在一次 prompt 回归 bug 中,靠渠道熔断在两小时内拦住了本可能烧掉整月预算的重试风暴。
方法二:请求打标,账单可归因。 每个请求带上团队/项目/功能的标签,网关按维度出用量报表。归因做起来之后,“哪块业务在烧钱、缓存命中率多少”一目了然,预算讨论从互相猜变成看数据。
方法三:分级路由 + 缓存优先策略。 把请求分为三档:缓存可命中且要求低延迟的走轻量模型加结果缓存;需要强推理的走旗舰模型;实验性流量走独立渠道。路由规则集中在网关配置,不散落在代码里。
预算治理检查清单
| 检查项 | 未治理状态 | 治理后目标 |
|---|---|---|
| 相同 prompt 是否重复计费 | 无感知,全量转发上游 | 结果缓存覆盖幂等场景,重复请求不再计费 |
| prompt 前缀是否命中供应商缓存 | 依赖各供应商规则,切换即失效 | 网关统一对接,切换模型不破坏缓存策略 |
| 模型是否可随意切换 | 任何人可临时换模型,缓存全失效 | 白名单 + 变更留痕 |
| 预算超支如何发现 | 月底看账单 | 渠道级上限 + 熔断 + 实时告警 |
| 用量归因 | 一张总账单,无法拆分 | 按标签多维报表,缓存命中率可查 |
| 实验流量隔离 | 与生产混跑,互相污染 | 独立托管渠道,成本与缓存互不影响 |
一点提醒
缓存策略不是“开了就赚”。两件事必须做在前面:一是明确哪些接口的输出是幂等可缓存的,二是建立命中率监控——命中率异常下跌往往是 prompt 被无意改动或模型被切换的信号,它既是成本问题,也是稳定性信号。
治理一个月后,我们文档问答这块的综合支出降了约三成,接口延迟降了一个数量级。对预算紧张的团队来说,“相同 prompt 不重复计费”可能是所有优化里投入产出比最高的一项:它不需要改模型、不需要改业务逻辑,只需要在网关层把规则配对。
如果你也想从网关层入手做缓存与路由治理,可以在 ThisToken.AI 上注册一个渠道试试:https://api.thistoken.ai/register
---
想直接跑通示例?访问 https://api.thistoken.ai/register 注册 ThisToken.AI,获取 API Key 后即可开始。