法律咨询助手上线记 - 一套RAG跑起来，法务响应时间从两天缩到十分钟

一、业务痛点：不是没有答案，是答案找不到

朋友的创业团队做中小企业合规咨询服务，四个人的小团队，每天要处理三十多条客户咨询。痛点很典型：

• 响应慢：每条咨询要人工翻法规库、找类似案例，平均响应时间超过48小时，客户流失率肉眼可见。
• 质量不稳定：答案全靠某个人的记忆和经验，同一个问题三个人能给出三种口径。
• 成本刚性：想多接单就必须多招人，法务人力成本占了总支出的60%以上。

他们试过直接把问题丢给大模型，结果模型一本正经地引用了已经废止的条款——这对法律场景是致命的。结论很明确：必须上检索增强生成（RAG），让模型只基于真实法条和案例作答。

目标定得很克制：第一版不求替代人，只求把「初稿+引用来源」的准备工作自动化，让人的时间花在校验和沟通上。

二、架构设计：四个模块，一条主线

用户提问 → 问题改写 → 向量检索 → 重排 → 组装Prompt → LLM生成 → 引用溯源

具体分四块：

1. 知识库层：法规原文、已脱敏的历史咨询案例、内部合规FAQ，切块后向量化入库。法规条款按「条」为最小单位切分，保留章节元数据。
2. 检索层：向量检索召Top 20，再用一个轻量重排模型筛到Top 5，实测这一步把答案的引用准确率从71%提到92%。
3. 生成层：Prompt里硬性要求「只基于以下材料回答，材料中没有的就说不知道，必须标注条款出处」。
4. 网关层：所有LLM调用（改写、重排、生成、评估）统一走一个AI API网关，这是后面重点说的。

三、关键实现步骤

第一步，建知识库（第1周）。 法规文本用现成的公开数据集清洗入库，重点是版本管理——每部法规标注生效日期，检索时按「当前有效」过滤。这一步是后面一切的地基，废条款问题就是在源头解决的。

第二步，跑通最小链路（第2周）。 核心代码其实不复杂：

def answer(question: str) -> dict:
    # 1. 问题改写：把口语化提问转成适合检索的表述
    rewritten = llm.chat(
        model="gpt-4o-mini",
        messages=[{"role": "user",
                   "content": f"改写为法律检索查询：{question}"}]
    )
    # 2. 向量检索 + 重排，只保留当前有效的法规版本
    chunks = rerank(
        vector_db.search(rewritten, top_k=20, filter={"valid": True})
    )[:5]

    # 3. 受约束生成：强制引用来源
    context = "\n---\n".join(c.text for c in chunks)
    answer_text = llm.chat(
        model="claude-sonnet",
        messages=[{"role": "user", "content": f"""仅依据以下材料回答，
        材料未涉及的部分明确说明无法回答，并标注引用条款：
        材料：{context}
        问题：{question}"""}],
        timeout=30
    )
    return {"answer": answer_text, "sources": [c.meta for c in chunks]}

第三步，建立评估集（第3周）。 挑了120个真实历史咨询问题，人工标注标准答案要点。每次改Prompt或换模型就跑一遍，用评估分说话，避免「感觉变好了」的错觉。

第四步，灰度上线（第4周）。 先只做内部辅助：AI产出初稿和引用，人审核后发给客户。

四、效率账：前后对比

上线两个月后的对比（团队内部统计）：

四个人没变，产能翻了三倍多，响应快了之后客户续约率也明显改善。

五、为什么坚持走统一AI API网关

这条链路里LLM调用出现在四个环节，问题改写用小模型、生成用大模型、评估又要另一个模型。第一版我们把不同厂商的Key分别写在配置里，两周内就吃了三次亏：某厂商接口超时没有自动降级，线上直接挂了半小时；每次换模型要改三处代码、重新发版；账单分散在四个后台，对账要花一下午。

改成统一AI API网关后，维护成本的变化是实打实的：

• 一个Key、一套接口协议覆盖所有模型。换模型从「改代码+发版」变成「改一个参数」，评估不同模型跑分那次，我们一晚上对比了五个模型，零代码改动。
• 内置重试、超时和故障转移。上游抖动自动切换，之前那次半小时的故障，现在基本无感。
• 调用日志和用量统计集中在一个地方。哪个环节花多少钱一目了然，成本优化有了数据依据——比如发现评估环节占了30%的调用量，顺手做了一层缓存又省下一笔。

对小团队来说，这类基础设施自己搭一套不现实，接入一个现成网关是性价比最高的选择。如果你想快速跑通自己的RAG或其他AI应用，可以从这里注册开始：https://api.thistoken.ai/register

---

想直接跑通示例？访问 https://api.thistoken.ai/register 注册 ThisToken.AI，获取 API Key 后即可开始。