директор и машина · контроль качества · заметка с планёрки · запись № 051 · · Давид Герштейн
Транскрибация звонков обрывается на полуслове: техническая изнанка
Речевая аналитика в этом кейсе ошибалась не потому, что подвела модель, а потому что транскрипт звонка обрезался техническим лимитом ячейки таблицы ещё до того, как его увидел ИИ. Решение — хранить полную расшифровку отдельно по ссылке, а не в самой таблице, и проверять оценки ИИ ручной сверкой: за первый месяц так перепроверили 66 звонков.
Содержание · 4 разделов
Если вы купили речевую аналитику и она не окупилась — вы не одиноки, и дело почти наверняка не в вендоре. Разбираю на своём примере, где именно теряется смысл.
Речевая аналитика в CRM должна была снять с Иры рутину прослушивания звонков — и почти сняла, пока не начала путать несделанную работу с сделанной. Ира на планёрке кладёт на стол распечатку одного звонка и говорит: «Я не понимаю, за что ему поставили тройку. Он же весь скрипт отработал». Смотрим оценку ИИ — действительно тройка, комментарий модели: «менеджер не выявил потребность, не назвал цену». Слушаем запись — потребность выявлена на второй минуте, цена названа на седьмой. Звонок на девять минут. Значит, дело не в звонке.
Ира почти три года слушала звонки ушами — сначала по тридцать в день, потом меньше, когда добавились текстовые каналы. Она первая сказала фразу, которая потом стала поводом для отдельного разбора: «оценка плывёт», когда транскрипт какой-то… короткий. Мы сначала подумали, что дело в качестве записи — шум, обрыв связи. Оказалось, дело не в записи.
Цифры, с которых всё стало понятно
Прежде чем разбирать причину, три числа для масштаба. Контролёр успевала слушать около 30 звонков в день — это примерно 25% потока при 120 разговорах ежедневно. Средняя длина разговора — 8–12 минут, то есть на прослушивание уходило до 4 часов рабочего дня. А ячейка таблицы, куда складывалась расшифровка, вмещала около 50 000 знаков — примерно 40 минут разговора. Всё, что длиннее, обрезалось молча.
Последнее число и есть причина: система оценивала неполные разговоры как полные, и делала это уверенно. Проверьте у себя этот же лимит — он есть почти в любой таблице.
Где транскрибация звонков теряет ваши данные
Три места, и все три вы можете проверить у себя за полчаса, не привлекая подрядчика.
Расшифровки хранились прямо в таблице — одна ячейка на один звонок. Удобно: открыл строку, увидел весь текст, рядом оценка. Но у ячейки в таблице есть технический лимит на количество символов. Длинные звонки — от десяти минут и дольше — в этот лимит не влезали. Текст обрезался молча, без ошибки, без предупреждения. ИИ получал не весь разговор, а его начало, и честно оценивал только то, что видел.
Система не ошибалась — она оценивала то, что ей дали. Дело было не в модели, а во входных данных.
Честно скажу: это моя недоработка. Я сам согласовал схему, где расшифровка лежит прямо в ячейке, и не проверил, сколько туда влезает. Ира приносила мне «оценка плывёт» трижды — и трижды я отвечал, что дело в качестве записи. Если вы сейчас узнали свою ситуацию, это нормально: на такой лимит наступают все, кто складывает длинный текст в таблицу.
Дальше выяснилось второе: даже когда транскрипт полный, оценка одного и того же звонка при повторном прогоне не всегда совпадает сама с собой. «Оценка, она не всегда адекватна» — так это сформулировали на разборе. Прогнали один звонок трижды — получили не три одинаковых результата, а три близких, но разных. Для менеджера, у которого от этой оценки зависит премия, разница в один балл — это не мелочь.
Что сделали: ссылка на расшифровку вместо текста в ячейке
С обрезкой транскрипта решение нашлось простое, хотя дошли до него методом исключения. Вместо полного текста в ячейке таблицы теперь хранится короткий фрагмент — начало разговора для ориентира — и ссылка на полную расшифровку, которая лежит отдельно и открывается по клику. ИИ для оценки берёт полный текст из документа, а не то, что видно в таблице глазами человека. Разделили «что показываем человеку» и «что скармливаем модели» — вопрос, который вообще стоит держать в голове, когда решаете, какие данные можно отправлять в нейросети, а какие нет. Половина проблемы закрылась.
Со вторым — нестабильностью оценки — решили не бороться в лоб, а сначала измерить масштаб. Ввели ручную сверку: каждый месяц отдел контроля качества берёт часть звонков — набралось 66 за первый месяц — и оценивает их вручную параллельно с ИИ. По каждому звонку считается дельта: разошлись ли оценки и насколько. Это не финальное решение, это диагностика — мы пока не готовы полностью довериться автоматической оценке, если не понимаем, насколько она вообще адекватна. Заодно ручная сверка помогает не превратить запуск автоматической оценки в саботаж со стороны тех, кого она оценивает — эта часть внедрения устроена так же, как в кейсе про контроль звонков без саботажа.
Честно: если раньше Ира могла ушами прослушать от силы тридцать звонков в день, то ручная сверка 66 звонков в месяц с оценкой ИИ — это ещё около трёх часов её времени каждую неделю, которые раньше не тратились. Пока это не экономия, это цена за то, чтобы вообще понять, можно ли автоматизации доверять.
бесплатный курс · телеграм
Поставить оценку 100% разговоров у себя
В курсе — как собрать оценку качества от выгрузки до отчёта руководителю: чек-листы, калибровка, приёмка. То, что у нас работает за сотни долларов в месяц.
Начать курс бесплатно →открывается в Telegram · доступ по подписке на канал
Почему это касается не только транскрибации
Проблема шире одной ячейки в таблице. Любая CRM-интеграция речевой аналитики сталкивается с вопросом: как система понимает, что это именно тот звонок, который нужно оценивать. Первый звонок может быть холостым, следующий — система не захватит, менеджер не всегда переводит сделку на нужный этап вовремя — это отдельная головная боль, разобранная в материале о том, почему менеджеры не вносят данные в CRM. Мы в итоге ушли от привязки к действиям менеджера — систему настроили так, что она сама выгружает все звонки по клиенту с уникальными идентификаторами и смотрит контекст предыдущих разговоров перед тем, как оценить последний. Про то, как это устроено технически на стороне речевой аналитики целиком — отдельный разбор в «Контроль качества звонков без ОКК».
Вывод с этой конкретной планёрки простой: прежде чем доверять оценке ИИ по звонкам, проверьте не модель, а трубу, по которой в неё льются данные. Обрезанный лимитом транскрипт и гуляющая от прогона к прогону оценка — не повод отказываться от речевой аналитики. Это повод не запускать её на всех менеджеров сразу, пока дельта между машиной и человеком не посчитана хотя бы на паре месяцев данных. Как эта труба устроена целиком, узел за узлом, — в разборе механики контроля качества звонков.
Мы пока эту дельту считаем. Чем кончится — расскажем отдельно.
И вот что я считаю главным во всей этой истории. Умение спросить у автоматики «а весь ли текст ты вообще видела» — это теперь навык руководителя, такой же обычный, как умение прочитать отчёт о деньгах. Раньше хватало доверия к подрядчику и к красивому интерфейсу. Сейчас тот, кто умеет проверить трубу с данными, стоит дороже того, кто умеет только требовать отчёт.
Как замкнуть петлю «оценка → разбор → изменение» — в бесплатном курсе.
И короткий чек-лист для вас: проверьте лимит ячейки, в которую складываются расшифровки; проверьте, доходят ли оценки до разбора с менеджером; проверьте, кто в вашей компании отвечает за то, чтобы по этим оценкам что-то менялось. Три проверки, полчаса времени — и вы будете знать, работает ваша аналитика или просто крутится.
Мы месяцы платили за аналитику, которая исправно работала и никому не помогала. Не повторяйте мой заход: начните сегодня с лимита ячейки.
Частые вопросы
Почему речевая аналитика неправильно оценивает длинные звонки?
Потому что расшифровка часто хранится прямо в ячейке таблицы, а у ячейки есть технический лимит символов. Длинный звонок — от десяти минут и дольше — в этот лимит не влезает, текст обрезается молча, без ошибки и предупреждения, и ИИ оценивает только начало разговора, честно занижая балл за то, что менеджер на самом деле сделал позже.
Как проверить, можно ли доверять оценкам ИИ по звонкам?
Ввести ручную сверку: каждый месяц часть звонков оценивает вручную отдел контроля качества параллельно с ИИ, а по каждому звонку считается дельта — разошлись ли оценки и насколько. В первый месяц так перепроверили 66 звонков — это не финальное решение, а способ измерить масштаб расхождения, прежде чем доверять автоматике полностью.
Почему оценка одного и того же звонка ИИ может отличаться при повторном прогоне?
Модель не детерминирована: при трёх прогонах одного и того же транскрипта получаются не три одинаковых результата, а три близких, но разных балла. Для менеджера, у которого от оценки зависит премия, разница в один балл — уже не мелочь, поэтому расхождение стоит замерять, а не игнорировать.
#контроль и надёжность #ии и нейросети #ошибки и провалы
Присылаю новый разбор в день выхода — с цифрами, которые можно подставить в свою таблицу. Без дайджестов ради дайджестов: нет статьи — нет письма.