директор и машина · контроль качества · запись № 013 · · Давид Герштейн
Контроль качества звонков без ОКК: 7139 оценок, $300 в месяц — и один отзыв
Конвейер на нейросети оценивает 100% звонков (~177 в день) за ~$300 в месяц — дешевле любого ОКК. Но он не окупится, если руководители не разбирают результаты с менеджерами: у нас за месяцы работы — один отзыв. Ритуал разбора проектируется до запуска.
Это разбор работающей системы, а не обзор сервисов. Несколько месяцев назад я поставил в отделе продаж конвейер, который слушает все звонки менеджеров и оценивает каждый по чек-листу. Ниже — реальные цифры, устройство и главный вывод, который дороже всей технической части: почему речевая аналитика чаще всего не окупается, и дело не в нейросети.
Цифры
| Показатель | Значение |
|---|---|
| Оценено разговоров за период | 7139 |
| Средний темп | ~177 разговоров в день |
| Себестоимость обработки | ~$300 в месяц |
| Охват | 100% звонков, а не выборка |
| Отзывов от руководителей на оценки | 1 (один) за весь период |
Последняя строка — самая важная в этой таблице. К ней и придём.
Как устроен конвейер
Схема простая и воспроизводимая. Записи звонков из телефонии складываются в хранилище. Первый этап — расшифровка: речь в текст, с разделением по говорящим. Второй — оценка: языковая модель получает расшифровку и чек-лист (приветствие, выявление потребности, работа с возражением, следующий шаг — у вас будет свой) и возвращает структурированную оценку с цитатами. Третий — агрегация: оценки складываются в базу, руководитель видит сводку по менеджерам и может провалиться в конкретный разговор.
Что важно из неочевидного:
- Не экономьте на расшифровке. Ошибки распознавания речи умножаются на этапе оценки: модель уверенно оценивает то, чего человек не говорил. Дешёвая расшифровка — главный источник несправедливых оценок, а несправедливая оценка — самый быстрый способ настроить менеджеров против системы.
- Чек-лист должен быть короче, чем хочется. Пять-семь пунктов, по которым возможен однозначный ответ. Пункты вида «менеджер был доброжелателен» порождают споры, пункты «менеджер назвал следующий шаг и дату» — нет.
- Оценка обязана цитировать. Каждый балл — с цитатой из разговора. Без цитат разбор превращается в спор с роботом.
Почему это не окупилось — честная часть
Система оценивает 177 разговоров в день. Раньше выборочно слушали единицы. Казалось бы — прорыв. Но за весь период работы руководители оставили на оценки один отзыв, а калибровка критериев (совместный разбор спорных оценок, поправки в чек-лист) оборвалась через месяц.
Оценка звонка меняет что-то в одном-единственном случае: когда руководитель садится с менеджером и разбирает конкретный разговор. Этот ритуал не был спроектирован. Все считали, что достаточно дать доступ к экрану с оценками. Недостаточно: у руководителя есть текущая работа, и новый экран сам в неё не встраивается.
Считать ли это провалом
Технически — нет: конвейер стабилен, дёшев и точен. Управленчески — да: он несколько месяцев производил оценки, которые никто не читал. Я публикую этот разбор именно потому, что таких историй в открытом доступе почти нет — все продают кейсы успеха, и у читателя складывается ощущение, что у всех работает, а у него одного нет.
Не у всех. Разрыв между «технология работает» и «люди работают по-другому» — это главная причина провалов внедрения ИИ вообще, не только в звонках.
Что бы я сделал иначе (и делаю теперь)
- Сначала договориться с руководителем отдела: полчаса в неделю, разбор трёх худших и одного лучшего разговора. Письменно, с датой первой встречи. Только потом строить конвейер.
- Первую неделю оценивать вручную вместе с системой — это калибровка чек-листа и прививка доверия.
- Показывать менеджерам их собственные оценки сразу: система, которую от людей прячут, воспринимается как слежка и саботируется.
- Раз в месяц пересматривать чек-лист: продажи меняются, критерии отстают.
Стоимость всей затеи — сотни долларов в месяц, а не миллионы на проект. В деньгах это доступно любому среднему бизнесу; в дисциплине — не любому. Дисциплина и есть цена.