差评堆在后台三个月没人看,AI替我把改进清单排好了序
先说一个反例:我曾经的「差评处理三连」
去年我做一款小工具类产品,用户量不大,差评倒是不缺。我的处理流程大概是这样的:
第一连:情绪化反驳。 看到一条言辞激烈的差评,第一反应是「用户不会用」,截图发到群里,大家嘲讽一番,散会。差评本身的信息量被情绪完全吞掉了。
第二连:凭印象改。 有一次真下定决心要改产品,我问团队「大家觉得用户最不满什么?」每个人说的都不一样——因为每个人只记得自己最近看过的那几条评论。最后我们花两周改了一个「我以为是最高频」的问题,上线后数据毫无波动。
第三连:全量人肉阅读。 被打脸之后我走了另一个极端,把三百多条评论打印出来逐条看。看了两晚上,越看越乱:这条说慢,那条说贵,还有一条说按钮颜色丑。看完了,脑子里只剩一团浆糊,什么清单也没列出来。
这三个阶段的共同问题是:差评的价值没有被结构化地提取出来。评论是非结构化文本,而人的短时记忆和归纳能力应付不了几百条杂乱叙述。独立开发者和小团队尤其吃亏——没有用研岗,没有数据分析岗,老板自己就是全部的「用户洞察部门」。
换个思路:AI在中间干脏活
后来我把流程改成:人负责定义「什么是有效洞察」,AI负责阅读、归类、计数、排序。
这个分工的关键在于:AI不会因为差评骂得难听而恼火,不会因为读了三百条而疲劳,也不会凭最近三条评论形成偏见。它擅长的恰好是人最不擅长的——机械地读完所有文本,按统一标准归类。
具体流程四步:
- 导出原始评论:从应用商店、客服系统、社群反馈导出,保留时间、渠道、原文。注意脱敏,去掉用户ID、联系方式。
- 跑批提炼:用大模型API把评论分批送进去(每批30-50条,避免超长上下文导致漏读),让AI按统一维度输出结构化结果。
- 合并汇总:把各批结果再合并一次,让AI做跨批去重和频次统计,输出问题分类表。
- 人来拍板:AI给出的清单按「提及频次 × 严重程度」排序,我只需要看前十条,结合技术成本决定做什么。决策仍然在人手里,AI只负责让决策有依据。
跑完第一次,我印象最深的是:我猜的「最高频问题」只排到第七,排第一的是我从没在意过的「首次启动引导缺失」——因为抱怨它的人措辞都很温和,人读的时候容易被激烈的抱怨抢走注意力。AI没有这个偏好。
前后对比
| 维度 | 人工处理(旧) | AI辅助(新) |
|---|---|---|
| 处理300条评论 | 两三个晚上,且只留下模糊印象 | 几分钟出结构化表 |
| 归类一致性 | 受情绪和阅读顺序影响大 | 统一标准,可复现 |
| 优先级判断 | 凭最近记忆和主观感受 | 按频次排序,可核查 |
| 改版效果 | 改了没人买账 | 首个改动后的留存有可见回升 |
成本方面:处理几百条评论的API调用费用很低,具体计价以官网价格页为准,对独立开发者基本可以忽略。
可复制的提示词模板
你是一位产品分析师。我会提供一批用户差评,请严格按以下要求处理:
1. 逐条阅读,将每条评论反映的问题归入以下类别(不可归入的放"其他"并注明):
- 功能缺失
- 性能/速度
- 上手难度/引导
- 稳定性/崩溃
- 价格/付费
- 交互设计
- 客服/响应
2. 输出格式为JSON数组,每个元素包含:
category(类别)、count(提及次数)、summary(该类问题的简要概括,50字内)、
representative_quote(最有代表性的一条原文,保留用户原话)、severity(1-5,按对使用的影响程度)
3. 规则:
- 一条评论提到多个问题时,分别计入对应类别
- 纯情绪宣泄、无具体信息的评论标记为 noise,不计入统计
- 不要发明评论中不存在的细节
4. 最后按 count × severity 降序排列,另附一段100字以内的总体结论。
以下是差评内容:
{comments}使用建议:把这段模板接入工作流,替换 {comments} 即可。小团队也可以直接在对话界面里贴,但超过两三百条时建议走API跑批,稳定性更好。
几个避坑提醒
- 先抽样校验再全量跑。 先扔50条让AI归类,人工抽查20%看分类是否合理,不合理的先调提示词,再跑全量。垃圾进,垃圾出。
- 警惕幻觉。 明确要求「不要发明评论中不存在的细节」,并保留原文引述,方便回溯核查。
- 渠道要分开跑。 应用商店差评和客服工单语气、问题分布差异很大,混在一起会互相稀释,分渠道出表更有价值。
- 清单不是终点。 AI给你的是「问题分布图」,做什么、怎么做、排多少期,还是得靠人对产品的理解。
写在最后
差评是这个世界上最便宜、最真实的用户调研,只是它以最难读的形式呈现。AI把这层壳剥掉之后,独立开发者第一次可以跟大公司一样,用结构化的方式倾听用户——而成本只是几次API调用。
如果你也在找稳定的大模型API服务来跑这类文本处理任务,可以试试 https://api.thistoken.ai/register ,注册即可开始接入,把你的差评堆变成下一版的改进清单。
---
不想折腾多家供应商的接入差异?在 https://api.thistoken.ai/register 注册,用一个 base_url 调用所有模型。