Нейросеть для поддержки клиентов: как внедрить и не потерять качество сервиса

Нейросеть подключили в пятницу вечером. В понедельник в очереди жалоб — сообщение от клиента: бот подтвердил возврат денег, которого на самом деле не было, а оператор, к которому в итоге попал диалог, узнал об этом только из скриншота недовольного клиента.

Это типичный сценарий провального внедрения. Нейросеть отвечает быстро и уверенно, но сама не всегда знает, когда ошибается. Пока команда радуется, что очередь диалогов сократилась, часть ответов клиентам может быть неточной. Качество сервиса, ради которого создавали поддержку, при этом незаметно проседает.

Разберём, что именно ломается при внедрении нейросети в поддержку и как построить процесс так, чтобы скорость ответов не досталась ценой доверия клиентов.

Что меняется в поддержке, когда туда приходит нейросеть

Нейросеть в поддержке — не то же самое, что скриптовый чат-бот с деревом вопросов и ответов. Она читает обращение клиента, ищет ответ в базе знаний компании и формулирует его заново под конкретную ситуацию, а не выбирает готовую фразу из сценария. Подробный разбор того, как это устроено и чем нейросеть отличается от чат-бота, читайте в статье «ИИ для поддержки клиентов: как работает и какие задачи решает».

Важно подключить нейросеть так, чтобы клиенты по-прежнему получали точный и полезный ответ. Разберём, что чаще всего идёт не так при внедрении и как выстроить контроль качества.

Почему при внедрении часто падает качество сервиса

Нейросеть отвечает уверенно, но неправильно

Нейросеть строит ответ на основе базы знаний компании, но если в базе нет точного ответа на вопрос, она не всегда молчит или зовёт оператора. Иногда она достраивает ответ по смыслу, и звучит это так же уверенно, как правильный ответ. Клиент не видит разницы между точной информацией и предположением нейросети, поэтому доверяет обеим одинаково.

Это известное свойство больших языковых моделей: без достаточных данных они могут выдумывать детали, а на разные формулировки одного вопроса иногда отвечают по-разному — где-то честно признают, что не знают ответа, а где-то отвечают уверенно и неточно. Для поддержки это значит одно: чем реже нейросеть говорит «не знаю», тем внимательнее нужно проверять её ответы.

Операторы теряют контекст диалога после передачи от нейросети

Когда нейросеть передаёт диалог оператору, клиент ожидает, что переписку не придётся начинать заново. На практике оператор часто получает диалог без чёткого объяснения, что уже спросил клиент и что ответила нейросеть, поэтому приходится разбираться заново или переспрашивать. Для клиента, который уже один раз объяснил проблему, это выглядит так, будто его не слушали.

Правила эскалации решают только часть задачи. Вторая половина — что передаётся оператору вместе с диалогом: краткое резюме вопроса, а не только сама переписка.

Метрики фиксируют скорость, а не качество

После запуска команды чаще всего смотрят на самые заметные цифры: сколько диалогов закрыла нейросеть, насколько сократилась очередь, как быстро клиент получил первый ответ. Эти метрики растут почти сразу и создают ощущение, что внедрение прошло успешно.

Точность ответов эти цифры не показывают. Нейросеть может закрыть диалог за десять секунд с неверным ответом, а в статистике он всё равно будет числиться как успешный, пока клиент не напишет повторно или не пожалуется. Без отдельного контроля качества проблема остаётся невидимой ровно до тех пор, пока не превратится в отток или негативные отзывы.

Как внедрить нейросеть, не потеряв контроль над качеством

Соберите базу знаний и проверьте её на реальных вопросах

Нейросеть отвечает настолько точно, насколько подробна и однозначна база знаний, на которую она опирается. Прежде чем подключать нейросеть к живым диалогам, выгрузите 30–50 реальных вопросов клиентов за последний месяц и прогоните их через тестовый режим. Так видно, где база знаний неполная, а где формулировки допускают два толкования, и нейросеть путается между двумя похожими статьями.

Проверяйте не только сам факт ответа, но и источник, на который опирается нейросеть. Если она берёт информацию не из той статьи или додумывает недостающую часть, дорабатывайте базу знаний.

Разделите правила эскалации по критичности вопроса

Списка тем, которые нейросеть закрывает сама, недостаточно. Внутри одной темы бывают вопросы разной критичности. «Как оформить возврат» — рутинный вопрос. «Оплата списалась дважды» — вопрос про деньги, и для клиента он очень важен. Разделите правила эскалации не только по теме, но и по тому, что теряет клиент, если нейросеть ответит неточно.

Отдельно пропишите, что передаётся оператору вместе с диалогом: не только сама переписка, но и краткое резюме: что спросил клиент и что уже ответила нейросеть. Без этого оператор теряет контекст диалога.

Сравните метрики качества до и после

Не подключайте нейросеть сразу на весь поток обращений. Запустите нейросеть на части диалогов, например на одном канале или по нескольким темам. Сравните не только скорость ответа, но и долю диалогов, которые клиент открыл повторно после ответа нейросети. Рост повторных обращений по теме, которую нейросеть якобы закрывает, верный признак, что ответы неточные.

Ведите пилот минимум пару недель: за это время набирается достаточно диалогов, чтобы отличить единичную ошибку от системной проблемы в базе знаний или правилах.

Научите операторов работать в связке с нейросетью

Оператору, который получает диалог после нейросети, нужно быстро понять, что уже произошло в разговоре, и не повторять вопросы, на которые клиент уже отвечал. Обучите команду читать историю диалога с нейросетью так же внимательно, как диалог с другим оператором.

Отдельная задача команды — отмечать неточные ответы нейросети, а не просто исправлять их для клиента. Без обратной связи от операторов база знаний не улучшается, и одна и та же ошибка повторяется в разных диалогах.

Как контролировать качество сервиса после запуска

Какие метрики отслеживать

Скорость ответа и доля закрытых диалогов ничего не говорят о том, насколько ответы точные. Вместе с ними отслеживайте три метрики:

Метрика	Что показывает
Доля повторных обращений по закрытой теме	Клиент написал повторно после ответа нейросети — признак неточного ответа
Доля своевременных эскалаций	Нейросеть передала диалог оператору сразу, а не после нескольких попыток ответить
CSAT по диалогам с нейросетью	Считается отдельно от общего CSAT команды, показывает точность именно автоматических ответов

Подробнее о том, как считать и на что смотреть в этих метриках, читайте в статье «CSAT и CSI: в чём разница и как считать метрики удовлетворённости клиентов».

Отдельно смотрите на диалоги, где нейросеть ответила уверенно, но клиент всё равно написал оператору с тем же вопросом. Это первый признак, что ответ был неточным, даже если формально диалог закрылся автоматически.

Как часто пересматривать сценарии и базу знаний

Через две-три недели работы нейросети накапливается достаточно диалогов, чтобы увидеть закономерности: какие темы она закрывает, а где чаще ошибается или передаёт оператору. Разберите эти диалоги вместе с командой поддержки и обновите базу знаний по фактическим ошибкам.

После правок в базе знаний нейросети нужно время, чтобы начать использовать обновлённую версию в ответах, поэтому проверяйте результат не сразу, а через сутки после изменений. Дальше повторяйте цикл на регулярной основе: смотрите диалоги, находите ошибки, вносите правки и проверяйте результат.

Частые ошибки при внедрении, которые портят качество поддержки

Даже если вы уже разобрались, как работает нейросеть в поддержке, при внедрении легко допустить типовые ошибки.

• Отключить операторов сразу на всём потоке. Без параллельной работы человека не с чем сравнить ответы нейросети, а ошибки не с кем сверить, пока не накопятся жалобы.
• Не обучить команду работать с диалогами после нейросети. Операторы либо теряют контекст, либо относятся к переданным диалогам как к второстепенным.
• Не задать порог эскалации по критичности вопроса. Нейросеть одинаково уверенно отвечает и на вопрос про режим работы, и на вопрос про возврат денег, если правила это не разделяют.
• Игнорировать повторные жалобы клиентов на ответы нейросети. Одна жалоба может быть случайностью. Несколько похожих жалоб по одной теме — сигнал, что надо дополнить базу знаний.
• Не тестировать базу знаний перед запуском. Если нейросеть впервые встречает реальные вопросы клиентов уже на проде, ошибки клиенты увидят раньше, чем команда.

Похожие ошибки команд поддержки разобраны в статье «Основные ошибки операторов поддержки».

Как это устроено в Carrot quest

ИИ-агент Carrot quest отвечает на основе опубликованных статей базы знаний и внешних источников, которые вы укажете. Настройка креативности регулирует точность: чем она ниже, тем меньше нейросеть додумывает то, чего нет в базе знаний. Если нужной информации нет, диалог уходит оператору. Так же происходит при срабатывании заданных стоп-фраз.

МТС Линк подключали нейросеть на первую линию поддержки. Сначала протестировали ответы на реальных вопросах, затем запустили нейросеть на части потока, и только после проверки результатов включили её на все диалоги. В результате нейросеть стала закрывать 30% вопросов из чата самостоятельно, а очередь диалогов сократилась в два раза. Полный кейс читайте в статье: «AI-бот от Carrot quest решает 30% вопросов из чата и сокращает очередь диалогов в 2 раза».

Коротко

Нейросеть в поддержке ускоряет ответы, но не гарантирует их точность сама по себе. Без проверки базы знаний, разделения правил эскалации по критичности и контроля качества после запуска скорость может расти на фоне падающей точности ответов. А команда узнаёт об этом только из жалоб клиентов.

Внедрение стоит начинать с проверки базы знаний на реальных вопросах. Запускайте нейросеть поэтапно на части потока и сравнивать метрики качества до и после, а не только скорость. После запуска регулярно отслеживайте CSAT по диалогам с нейросетью и долю повторных обращений.

Операторы остаются частью процесса даже после подключения нейросети: они проверяют её ответы на старте, разбирают диалоги с жалобами и помогают дорабатывать базу знаний. Качество сервиса при внедрении нейросети зависит не от самой технологии, а от того, насколько тщательно команда проверяет её ответы на каждом шаге.

Частые вопросы

Как понять, что нейросеть в поддержке снижает качество сервиса?
Смотрите не только на скорость и долю закрытых диалогов, но и на долю повторных обращений по темам, которые нейросеть якобы закрывает сама, и на CSAT именно по диалогам с нейросетью. Рост повторных обращений — первый признак неточных ответов.

Нужно ли полностью убирать операторов при внедрении нейросети?
Нет. Операторы нужны для сложных, эмоциональных и критичных по деньгам вопросов, а также для проверки ответов нейросети на этапе пилота. Полное отключение операторов лишает команду возможности сравнивать ответы и вовремя заметить ошибку.

Сколько времени занимает внедрение без потери качества?
Зависит от того, насколько готова база знаний и сколько диалогов проходит через пилот. Проверка на реальных вопросах и пилотный запуск занимают минимум две-три недели. За это время накапливается достаточно диалогов, чтобы отличить единичную ошибку от системной.

Как часто нужно проверять ответы нейросети вручную?
В первые недели после запуска — на каждой пилотной партии диалогов. После выхода на постоянный поток — регулярно, например раз в одну-две недели, и обязательно после каждого крупного обновления базы знаний.

Что делать, если клиенты жалуются на ответы нейросети?
Разберите конкретный диалог: на какую статью базы знаний опиралась нейросеть и была ли она точной. Если проблема повторяется у нескольких клиентов по одной теме, обновите статью или добавьте правило эскалации для этого типа вопросов.

Чем нейросеть в поддержке отличается от обычного скриптового бота?
Скриптовый бот идёт по заранее прописанному сценарию и теряется за его пределами. Нейросеть каждый раз формулирует ответ заново под конкретную ситуацию: для этого она обращается к базе знаний. Подробный разбор разницы — в статье «Чем ИИ-агент отличается от обычного чат-бота на сайте».