Skip to content

AI 客服说的话谁来检查?对话质检的 4 个维度和 1 条闭环 ​

一句话结论:AI 客服上线后,质检的目的不是给 AI 打分,是给知识库找漏洞。人工抽检通常连 5% 都不到,剩下 95% 的对话里藏着全部真问题。做法是用 AI 把对话全量跑一遍,只标 4 类情况——答错、漏答、越界、情绪风险,再让人只看被标出来的那部分,把每一次错误变成一条知识补丁。质检的输出应该是"下周要补什么",不是一张罚单。

是什么:质检查的不是态度,是四类事实性问题 ​

先给结论:AI 客服的质检维度和人工客服不一样。人工客服的质检重点在语气、礼貌、响应速度;AI 客服的错,绝大多数是"事实错了"或"该说没说",语气反而是最不容易出问题的那一项。

维度具体查什么判定示例命中后怎么处理
答错事实、价格、政策、资质与唯一版本不一致客户问开票税率,AI 答 3%,实际是 6%当天改知识条目,标记为最高优先级
漏答客户问了 3 件事,只答了 1 件;该给的动作没给问"能不能上门、多少钱、多久",只回了价格补进话术模板:多问题必须逐条回应
越界该转人的没转、答了不该答的客户问合同违约金,AI 自己解释了改转人工规则,回看同类对话 50 条
情绪风险客户已表达不满、投诉、要退款,AI 仍在推流程客户说"第三次找你们了",AI 回"请问还有什么可以帮您"立即转人,并检查触发词表漏了哪些表达

一句话记法:答错改知识、漏答改模板、越界改规则、情绪改触发词。 四个维度对应四个不同的修法,混在一起讨论,就会变成"AI 不太行"这种没法执行的说法。

为什么:95% 的对话没人看,问题就藏在里面 ​

结论:AI 客服的问题不是"有没有错",是"错了没人知道"。

  1. 抽检覆盖率天然不足。 一个中等咨询量的企业,一天几百到上千条对话。质检岗一天能认真看完的,通常也就几十条(经验值,看单条长度)。这意味着抽检覆盖率长期在 5% 以下——而 AI 的错误往往集中在少数长尾问题上,恰好是最容易被抽样漏掉的那部分。
  2. 内部反馈会系统性失真。 客服同事说"AI 挺好用的",往往是真的:AI 帮他挡掉了大部分重复问题。但他不会主动告诉你"上周有个客户问了个刁钻问题,AI 编了个答案"。一线没有动机上报 AI 的错误,因为报了等于增加自己的工作。
  3. 错误会自己在公开渠道放大。 AI 答错的那一条,可能被客户截图发到群里、发到点评区、发到社交平台。等你从投诉里知道的时候,代价已经不是改一条知识了。
  4. 质检是唯一能证明"在变好"的证据。 续费、验收、向老板汇报,都需要一条曲线。没有全量质检数据,你只能说"感觉顺畅了";有数据,你能说"错答率从上月 6.3% 降到 2.1%,重复错答从 14 类降到 5 类"。这句话的分量完全不同。

怎么做:先定标签,再跑闭环 ​

第一步:把四个维度落成可执行的标签 ​

标签必须让复核的人一眼能判,不能是"回答质量不佳"这种模糊说法。

标签判定标准(可直接照抄)严重程度
事实错误答案里的数字、时间、政策、资质与唯一版本不一致高(当天改)
信息过期答案本身曾是事实,但已被新政策/新价格替代高(当天改)
答非所问客户问题与回答主题不同中(当周改)
漏项多问题只答部分,或该给的动作(留联、预约、转人)没给中(当周改)
越界回答触及价格底线、合同弹性、医疗/法律判断、竞品比较高(当天改规则)
该转没转命中转人工条件却继续由 AI 处理高(当天改规则)
情绪失察客户明确表达不满、投诉、退款意向,AI 未识别高(当天改触发词)
机械复读同一句话连续重复、把客户已答过的信息再问一遍低(月度优化)

建议一开始只启用前 7 个,跑两周再决定要不要加。标签越多,复核越慢,最后就会没人做。

第二步:跑通这条闭环 ​

mermaid
flowchart TB
    A["全量对话<br/>电话转写 + 微信 + 网页 + 平台私信"] --> B["AI 质检打标<br/>按 7 个标签逐条判定"]
    B --> C{"是否命中标签"}
    C -->|"未命中"| D["归档<br/>只统计不处理"]
    C -->|"命中"| E["进入待复核池<br/>约占全量 5%~10%"]
    E --> F["人工复核<br/>每周 2~3 小时"]
    F --> G{"归因"}
    G -->|"知识缺失"| H["补新条目"]
    G -->|"知识过期"| I["改旧条目<br/>标注生效日期"]
    G -->|"规则没写"| J["改转人工条件<br/>或话术模板"]
    H --> K["相关性回归<br/>用 20 条同类问题重测"]
    I --> K
    J --> K
    K --> L["周报:本周补丁数、重复错答、错答率变化"]
    L --> A
    D --> L

关键在 G 这一步的归因。同样是"答错了",归到知识缺失就补内容,归到规则没写就去改转人工条件——归错因,下周同一个错还会再来一次。

第三步:把人力压到最小 ​

  • AI 负责全量跑:一天上千条对话,机器跑完是分钟级的事,成本可以忽略。
  • 人只负责复核被标出的部分:命中率通常在 5%~10%(经验区间,上线第一个月会偏高),每周集中处理一次,2~3 小时足够。
  • 复核只做两件事:判断这个标对不对(校准 AI 质检本身),以及决定这条该怎么改。不要在复核时重新看一遍全部对话,那等于退回人工抽检。
  • 每周固定同一个时间做,跟知识库维护放在同一场例会里(具体节奏可以参考知识库多久更新一次)。

第四步:只看 5 个指标 ​

指标口径参考目标(经验值)
质检覆盖率被质检对话数 ÷ 总对话数100%
错答率事实错误 + 信息过期 ÷ 总对话数首月压到 5% 以内,第 3 个月 2% 以内
越界回答数越界 + 该转没转的绝对条数每周逐周下降到个位数
复核一致率人工认可 AI 打标的比例≥ 85%(低于就调标签定义)
补丁闭环时长从命中到知识库更新完成≤ 7 天

再加一个最好用的:重复错答类目数。同一个错第二次出现,说明上周的补丁没生效——这个数字比错答率更能说明运营有没有真的在做。

三个别踩的坑 ​

坑表现正确做法
拿质检结果给客服打分罚钱一线开始藏对话、删记录、教客户换个说法问质检对象是知识库和规则,不是人;对内公布的是"补了什么",不是"谁扣了多少"
只查态度不查事实报告里全是"语气生硬""不够热情"AI 客服的错九成在事实层,先把答错、漏答、越界查干净,再谈语气
报告只发不闭环每周出一份 PDF,没人改任何一条知识报告必须带"本周补丁清单 + 负责人 + 完成时间",下周复盘时逐条核销

常见问题(FAQ) ​

Q1:我们自己没有质检岗,谁来做这件事? ​

结论:不需要专职质检岗,需要的是一个"能改知识库的人"每周花 2~3 小时。 通常是运营、客服主管或项目负责人。工作量集中在复核被标出的 5%~10% 对话,以及写补丁。如果连这 2~3 小时都排不出来,说明问题不在工具,而在这个项目没人负责——可以先看AI数字员工项目该由谁负责。

Q2:让 AI 质检 AI,不就是自己给自己判卷吗? ​

结论:是,但比没人判卷强得多,而且可以被校准。 做法是每周人工复核一小批被标出的对话,算"复核一致率";一致率低于 85% 就说明标签定义太模糊,需要改定义、补判定示例。另外建议每月抽 20 条未被标出的对话人工看一遍,专门查漏标——这是防止"质检系统自己也瞎了"的唯一办法。

Q3:通话录音也能质检吗? ​

结论:能,前提是先转成文字。 语音先做转写,再走同一套标签体系。要注意转写会有错字(尤其是地名、型号、人名),判定前先让复核的人看一眼原文,别把转写错误当成 AI 答错。通话场景的质检价值往往更高,因为电话里客户说得更直接、问题更刁钻。

Q4:质检发现 AI 老是越界,是不是该把它的权限收小? ​

结论:先分清是"权限太大"还是"规则没写"。 如果 AI 答了合同违约金、折扣底线这类本不该碰的内容,是规则问题——补转人工条件即可,不必收权限;如果它已经开始替客户改订单、承诺退款,那才是权限问题,需要立刻收紧。权限怎么划,可以参考AI数字员工该给多少权限。

相关方案 ​

联系我们 ​

如果你的 AI 客服已经上线,但没人说得清它这周答错了多少次,欢迎联系我们。我们可以先帮你把最近一个月的对话跑一遍全量质检,出一份带标签分布和补丁清单的报告,你看着真实数据再决定要不要把这件事固定成每周动作。西安及周边可上门,全国可线上交付。