错题讲解功能上线前的三道审批——教育应用AI化的管理者复盘
作为一个五人教育创业团队的负责人,我最近三个月的主要工作不是写代码,而是在「错题讲解AI功能」的立项、研发和上线过程中做决策、拆流程、控风险。这篇文章从管理者的视角,把我们踩过的坑和最终的方案讲清楚,给同样想在小团队里落地AI功能的负责人参考。
一、业务痛点:为什么「拍照搜题」不够
我们的产品是一个面向初中生的刷题类App,日活几万,用户上传错题后只能看到标准答案。客服渠道收到的反馈集中在三点:
- 只有答案没有讲解。学生抄完答案依然不懂,家长投诉「花了钱买了个抄作业工具」。
- 人工讲解成本失控。我们试过让教研老师录制讲解视频,一道题平均二十分钟产出,覆盖率不到题库的5%,长尾题目永远排不上队。
- 合规红线。教育内容的幻觉问题不是「体验问题」而是「事故问题」。AI讲错一个公式、编造一个不存在的定理,可能直接变成舆情。
所以立项时我给团队定了三条硬约束:讲解内容必须可追溯、成本必须可预测、供应商必须可替换。这三条直接决定了后面的架构选型。
二、架构设计:把「AI调用」从业务逻辑里剥离出来
第一版方案里,后端同学直接在讲解服务里调用某家大模型API,密钥写在配置文件里。代码评审时我否掉了这个设计,原因很简单:教育类应用的题库是混合题型(文字、公式、几何图、手写体),单一模型在不同题型上的表现差异很大,我们大概率需要多模型组合,而且一旦某家模型涨价或服务不稳定,必须有B计划。
最终架构分四层:
- 接入层:题目上传,OCR识别 + 题型分类(几何/代数/应用文)
- 路由层:按题型和难度把请求分发到最合适的模型——公式类走推理强的模型,几何图题走多模态模型,简单题走便宜的轻量模型
- 生成层:AI产出讲解初稿,强制带「解题步骤结构化输出」
- 校验层:规则引擎做硬校验(答案与题库比对、公式合法性检查),抽检队列留给教研老师
关键决策是:所有模型调用都经过统一AI API网关,业务代码只面对一套接口。这就是为什么最后选了统一网关方案——下面细说。
三、关键实现步骤(上线前的执行清单)
我把整个项目拆成了六个阶段,每阶段有明确验收标准:
阶段一(第1-2周):题库梳理与题型标注
□ 抽样5000道题做题型分布统计,确定路由规则
□ 定义讲解内容的结构化Schema(步骤、易错点、变式题)
阶段二(第3周):统一网关接入
□ 通过统一网关注册多家模型供应商,密钥集中托管
□ 用网关的用量统计给「教研/客服/研发」分租户记账
□ 配置失败自动降级链路:主模型超时→备用模型→排队转人工
阶段三(第4-5周):讲解生成Pipeline
□ Prompt模板版本化管理,教研老师可审阅不可直接改线上
□ 输出强制JSON Schema:解题步骤数组 + 最终答案 + 置信度
阶段四(第6周):风控与合规
□ 答案一致性校验:AI答案 ≠ 题库答案 → 自动拦截进人工队列
□ 敏感内容过滤 + 讲解内容留存六个月备查
□ 灰度开关:新Prompt版本先放5%流量
阶段五(第7周):成本压测
□ 按预估日活模拟调用量,确认单用户边际成本
□ 设置网关层面的日预算告警,超限自动切换轻量模型
阶段六(第8周):灰度上线
□ 10% → 50% → 全量,每档观察至少三天差评率四、为什么统一AI API网关能显著降低维护成本
这是整个方案里我作为管理者最坚持的一条,理由有三个:
第一,供应商切换从「项目」变成「配置」。 教育赛道模型价格和效果变化很快,上半年表现最好的模型下半年可能被超越。如果每家供应商的SDK、鉴权、参数格式都散落在业务代码里,换一次模型就是一次全量回归测试。统一网关之下,切换只是改路由配置,业务代码零改动。我们实际测试中,把几何题从A模型切到B模型,只花了半天,其中大部分时间在评估效果而不是改代码。
第二,密钥和账单集中管理,风险敞口收窄。 五人团队没有专职安全岗,密钥散落在多个服务里等于多处泄露隐患。统一网关集中托管密钥、统一审计日志,月底成本按功能线自动分账,我不再需要拉三个人对Excel。
第三,降级和限流是现成能力,不用自己造。 「主模型超时自动切备用」「日预算超限告警」这些能力网关自带。自己写这套逻辑至少两周,而且出bug的后果是全线不可用——对创业团队来说这是不可接受的风险集中。
五、管理者要盯的三件事
最后给同样角色的负责人三点提醒:
- 盯验收标准,不盯工时。 「讲解准确率」必须量化(我们定为答案一致率≥98%才可全量),别让团队用「感觉不错」蒙混过关。
- 盯灰度节奏。 AI功能出事故的传播速度远超传统bug,10%流量观察三天是底线。
- 盯单一依赖。 任何时候都要保证「换个模型,产品还能跑」。这不是技术洁癖,是议价能力和生存能力。
上线六周后回头看,这个功能最大的价值不只是省了教研工时,而是团队建立了一套「AI能力接入标准流程」——后面要做的作文批改、口语测评,都能复用这套网关和风控骨架。
如果你的团队也在规划类似功能,建议先把统一接入层搭好再谈模型选型。我们目前用的是 Thistoken 的统一AI API网关,一家网关对接多家模型、密钥集中管理、自带用量分账和降级能力,对小团队起步阶段尤其友好,注册就能上手试用。
---
本文的示例只需一个 API Key 就能复现:在 https://api.thistoken.ai/register 注册即用。