Как оценить работу поддержки: от опроса клиентов до аудита диалогов

При большом потоке обращений в поддержку отчёт по времени ответа или проценту решённых с первого раза обращений покажет только общую картину. Он не объяснит, почему конкретный диалог получил плохую оценку или почему оператор в третий раз подряд отправляет клиента разбираться самостоятельно.

Для этого нужны не метрики, а способы регулярно собирать данные о том, что происходит внутри диалогов. Подробный разбор метрик и формул есть в статье «Ключевые метрики службы поддержки», а здесь разбираем, откуда эти цифры вообще берутся и чем их дополнить.

Опрос клиентов сразу после обращения

Самый быстрый способ понять, доволен ли клиент, это спросить его сразу после того, как диалог закрыт. Короткий опрос из одного-двух вопросов даёт обратную связь, пока разговор ещё свежий в памяти. Он не превращается в отдельную задачу, которую клиент отложит на потом.

Важна не сама оценка, а комментарий к ней. Оценка 2 из 5 без пояснения ничего не говорит о причине. Та же оценка с комментарием «Пришлось трижды объяснять одно и то же» указывает на конкретную проблему, которую можно исправить. Поэтому добавляйте в форму опроса необязательное текстовое поле.

В чате Carrot quest такой опрос можно отправлять автоматически после закрытия диалога. Оценки собираются по каждому обращению, а не выборочно.

QA-скоринг диалогов по чек-листу

Опрос показывает мнение клиента, но не то, что происходило в диалоге до его отправки. Для этого нужен QA-скоринг: тимлид или QA-специалист оценивает диалог по фиксированному чек-листу. Критерии простые: поздоровался ли оператор, ответил ли на вопрос по существу, предложил ли следующий шаг, если сразу решить проблему не получилось.

Чек-лист даёт результаты только тогда, когда критерии в нём измеримы. «Оператор был вежливым» — субъективная формулировка, разные проверяющие оценят её по-разному. «Оператор поздоровался в первом сообщении и назвал имя клиента» — конкретный факт, который можно проверить.

Новый чек-лист полезно сначала прогнать на 10–15 диалогах и сравнить оценки как минимум двух проверяющих. Если расхождение большое, значит критерии сформулированы нечётко.

Аудит случайной выборки диалогов

Аудит случайной выборки — регулярная проверка диалогов, которые выбрали не по жалобе или низкой оценке, а наугад. QA-скоринг обычно для диалогов, где что-то уже пошло не так: есть низкая оценка клиента, жалоба, эскалация. Но проблемы часто прячутся и в диалогах, которые выглядят нормально. Клиент не пожаловался, потому что не увидел смысла, а не потому что всё было хорошо.

Регулярная выборка случайных диалогов, например 5–10 в неделю на оператора, закрывает эту слепую зону. Такая выборка не заменяет QA-скоринг проблемных диалогов, а идёт параллельно с ним.

Тайный покупатель для поддержки

Опрос и аудит показывают, что видит команда изнутри. Тайный покупатель показывает то же самое со стороны клиента: человек без предупреждения обращается в поддержку с заранее продуманным вопросом. Он фиксирует весь путь, от скорости первого ответа до того, предложил ли оператор решение.

Используйте этот метод оценки точечно: перед сезоном пиковой нагрузки, после смены части команды или когда внутренние метрики выглядят стабильно хорошими, а обратная связь от реальных клиентов почему-то не радует. В этом случае проверьте, не разошлись ли внутренние стандарты с тем, что видит клиент.

Анализ жалоб и эскалаций

Жалобу легко закрыть как единичный инцидент: извиниться, решить вопрос, перейти к следующему обращению. Но если посмотреть на жалобы за месяц вместе, а не по одной, часто вскрывается системная причина. Например, часть жалоб может быть связана с одной и той же функцией продукта или с одним и тем же шагом в скрипте оператора.

Для этого жалобы и эскалации стоит тегировать по причине сразу в момент обработки. Раз в месяц собранные теги превращаются в список, что чаще всего идёт не так и что из этого можно исправить на уровне процесса или базы знаний.

ИИ-анализ диалогов

Все методы выше работают на небольшой выборке: тимлид физически не прочитает все 2000 диалогов Финтабло за месяц. Он смотрит часть, проблемную или случайную. ИИ-анализ снимает это ограничение и проверяет 100% диалогов по тем же критериям: тон ответа, соблюдение скрипта, скорость реакции.

В Carrot quest такой анализ встроен в чат: система может размечать диалоги по тональности и ключевым критериям автоматически, и тимлиду останется перепроверить те, что система уже пометила как требующие внимания.

Как выбрать методы оценки работы поддержки под свою команду

Опрос клиентов и QA-скоринг — база, которая работает в команде любого размера. Аудит случайной выборки и анализ жалоб нужны, когда поток обращений становится большим: явные сбои перестают быть заметны сами по себе. Так происходит в команде Aviasales, где восемь операторов ведут около 4000 диалогов.

ИИ-анализ диалогов особенно оправдан там, где ручной аудит физически не покрывает весь объём переписок, например, в команде с несколькими тысячами диалогов в месяц.

Коротко

Метрики вроде CSAT и времени первого ответа показывают, что происходит в целом, но не объясняют причину. Опрос клиентов и QA-скоринг по чек-листу — минимальный набор методов для команды любого размера.

Аудит случайной выборки и анализ жалоб по тегам добавляют глубину, когда поток обращений растёт. Тайный покупатель нужен точечно, а не постоянно.

ИИ-анализ диалогов снимает главное ограничение ручных методов — он проверяет все диалоги, а не выборку.

Частые вопросы

Как часто нужно оценивать работу поддержки?

Опрос клиентов работает непрерывно и без дополнительных усилий команды. QA-скоринг и аудит выборки диалогов проводите на регулярной основе, например раз в неделю.

Чем QA-скоринг отличается от опроса клиентов?

Опрос показывает мнение клиента о результате работы поддержки. QA-скоринг показывает, что происходило в диалоге до этого результата, причём по конкретным критериям чек-листа, а не по общему впечатлению.

Нужен ли тайный покупатель, если уже есть опросы CSAT?

Да, если внутренние оценки расходятся с реальным опытом клиента. Тайный покупатель проверяет диалог со стороны и может показать проблему, которую ни опрос, ни QA-скоринг не поймали.

Кто должен проводить аудит диалогов — тимлид или отдельный QA-специалист?

В небольшой команде это обычно тимлид. Когда поток обращений и число операторов растёт, выделите роль QA-специалиста отдельно — иначе аудит станет первым, чем жертвуют при нехватке времени. Если вы только начинаете руководить командой поддержки, общий план первых шагов есть в статье «С чего начать, если вас назначили тимлидом команды поддержки».

Как оценивать поддержку, если команда маленькая?

Опрос клиентов и QA-скоринг случайной выборки диалогов — рабочий минимум даже для одного-двух операторов. Тайный покупатель и постоянный ИИ-анализ в этом случае не обязательны: объём диалогов ещё позволяет тимлиду просматривать их вручную.

Можно ли автоматизировать оценку диалогов?

Автоматизировать можно отправку опроса после диалога и разметку по тональности и ключевым критериям. Финальное решение, что делать с проблемным диалогом и как менять процесс по итогам жалоб, всё равно остаётся за человеком.

С чего начать, если раньше поддержку никак не оценивали?

С опроса клиентов после диалога и простого чек-листа на 5–7 критериев для QA-скоринга. Оба метода не требуют новых инструментов и дают первые данные уже через одну-две недели.