журналопыт и цифрыцифры и определенияавтор

директор и машина · контроль качества · заметка с планёрки · запись № 051 · · Давид Герштейн

Транскрибация звонков обрывается на полуслове: техническая изнанка

66 звонков/мес сверки · дельта оценок · лимит символов в ячейке
Коротко · суть разбора

Речевая аналитика в этом кейсе ошибалась не потому, что подвела модель, а потому что транскрипт звонка обрезался техническим лимитом ячейки таблицы ещё до того, как его увидел ИИ. Решение — хранить полную расшифровку отдельно по ссылке, а не в самой таблице, и проверять оценки ИИ ручной сверкой: за первый месяц так перепроверили 66 звонков.

Содержание · 4 разделов
  1. Цифры, с которых всё стало понятно
  2. Где транскрибация звонков теряет ваши данные
  3. Что сделали: ссылка на расшифровку вместо текста в ячейке
  4. Почему это касается не только транскрибации

Если вы купили речевую аналитику и она не окупилась — вы не одиноки, и дело почти наверняка не в вендоре. Разбираю на своём примере, где именно теряется смысл.

Речевая аналитика в CRM должна была снять с Иры рутину прослушивания звонков — и почти сняла, пока не начала путать несделанную работу с сделанной. Ира на планёрке кладёт на стол распечатку одного звонка и говорит: «Я не понимаю, за что ему поставили тройку. Он же весь скрипт отработал». Смотрим оценку ИИ — действительно тройка, комментарий модели: «менеджер не выявил потребность, не назвал цену». Слушаем запись — потребность выявлена на второй минуте, цена названа на седьмой. Звонок на девять минут. Значит, дело не в звонке.

Ира почти три года слушала звонки ушами — сначала по тридцать в день, потом меньше, когда добавились текстовые каналы. Она первая сказала фразу, которая потом стала поводом для отдельного разбора: «оценка плывёт», когда транскрипт какой-то… короткий. Мы сначала подумали, что дело в качестве записи — шум, обрыв связи. Оказалось, дело не в записи.

Цифры, с которых всё стало понятно

Прежде чем разбирать причину, три числа для масштаба. Контролёр успевала слушать около 30 звонков в день — это примерно 25% потока при 120 разговорах ежедневно. Средняя длина разговора — 8–12 минут, то есть на прослушивание уходило до 4 часов рабочего дня. А ячейка таблицы, куда складывалась расшифровка, вмещала около 50 000 знаков — примерно 40 минут разговора. Всё, что длиннее, обрезалось молча.

Последнее число и есть причина: система оценивала неполные разговоры как полные, и делала это уверенно. Проверьте у себя этот же лимит — он есть почти в любой таблице.

Где транскрибация звонков теряет ваши данные

Три места, и все три вы можете проверить у себя за полчаса, не привлекая подрядчика.

Расшифровки хранились прямо в таблице — одна ячейка на один звонок. Удобно: открыл строку, увидел весь текст, рядом оценка. Но у ячейки в таблице есть технический лимит на количество символов. Длинные звонки — от десяти минут и дольше — в этот лимит не влезали. Текст обрезался молча, без ошибки, без предупреждения. ИИ получал не весь разговор, а его начало, и честно оценивал только то, что видел.

Система не ошибалась — она оценивала то, что ей дали. Дело было не в модели, а во входных данных.

Честно скажу: это моя недоработка. Я сам согласовал схему, где расшифровка лежит прямо в ячейке, и не проверил, сколько туда влезает. Ира приносила мне «оценка плывёт» трижды — и трижды я отвечал, что дело в качестве записи. Если вы сейчас узнали свою ситуацию, это нормально: на такой лимит наступают все, кто складывает длинный текст в таблицу.

Дальше выяснилось второе: даже когда транскрипт полный, оценка одного и того же звонка при повторном прогоне не всегда совпадает сама с собой. «Оценка, она не всегда адекватна» — так это сформулировали на разборе. Прогнали один звонок трижды — получили не три одинаковых результата, а три близких, но разных. Для менеджера, у которого от этой оценки зависит премия, разница в один балл — это не мелочь.

Что сделали: ссылка на расшифровку вместо текста в ячейке

С обрезкой транскрипта решение нашлось простое, хотя дошли до него методом исключения. Вместо полного текста в ячейке таблицы теперь хранится короткий фрагмент — начало разговора для ориентира — и ссылка на полную расшифровку, которая лежит отдельно и открывается по клику. ИИ для оценки берёт полный текст из документа, а не то, что видно в таблице глазами человека. Разделили «что показываем человеку» и «что скармливаем модели» — вопрос, который вообще стоит держать в голове, когда решаете, какие данные можно отправлять в нейросети, а какие нет. Половина проблемы закрылась.

Со вторым — нестабильностью оценки — решили не бороться в лоб, а сначала измерить масштаб. Ввели ручную сверку: каждый месяц отдел контроля качества берёт часть звонков — набралось 66 за первый месяц — и оценивает их вручную параллельно с ИИ. По каждому звонку считается дельта: разошлись ли оценки и насколько. Это не финальное решение, это диагностика — мы пока не готовы полностью довериться автоматической оценке, если не понимаем, насколько она вообще адекватна. Заодно ручная сверка помогает не превратить запуск автоматической оценки в саботаж со стороны тех, кого она оценивает — эта часть внедрения устроена так же, как в кейсе про контроль звонков без саботажа.

Честно: если раньше Ира могла ушами прослушать от силы тридцать звонков в день, то ручная сверка 66 звонков в месяц с оценкой ИИ — это ещё около трёх часов её времени каждую неделю, которые раньше не тратились. Пока это не экономия, это цена за то, чтобы вообще понять, можно ли автоматизации доверять.

бесплатный курс · телеграм

Поставить оценку 100% разговоров у себя

В курсе — как собрать оценку качества от выгрузки до отчёта руководителю: чек-листы, калибровка, приёмка. То, что у нас работает за сотни долларов в месяц.

Начать курс бесплатно →

открывается в Telegram · доступ по подписке на канал

Почему это касается не только транскрибации

Проблема шире одной ячейки в таблице. Любая CRM-интеграция речевой аналитики сталкивается с вопросом: как система понимает, что это именно тот звонок, который нужно оценивать. Первый звонок может быть холостым, следующий — система не захватит, менеджер не всегда переводит сделку на нужный этап вовремя — это отдельная головная боль, разобранная в материале о том, почему менеджеры не вносят данные в CRM. Мы в итоге ушли от привязки к действиям менеджера — систему настроили так, что она сама выгружает все звонки по клиенту с уникальными идентификаторами и смотрит контекст предыдущих разговоров перед тем, как оценить последний. Про то, как это устроено технически на стороне речевой аналитики целиком — отдельный разбор в «Контроль качества звонков без ОКК».

Вывод с этой конкретной планёрки простой: прежде чем доверять оценке ИИ по звонкам, проверьте не модель, а трубу, по которой в неё льются данные. Обрезанный лимитом транскрипт и гуляющая от прогона к прогону оценка — не повод отказываться от речевой аналитики. Это повод не запускать её на всех менеджеров сразу, пока дельта между машиной и человеком не посчитана хотя бы на паре месяцев данных. Как эта труба устроена целиком, узел за узлом, — в разборе механики контроля качества звонков.

Мы пока эту дельту считаем. Чем кончится — расскажем отдельно.

И вот что я считаю главным во всей этой истории. Умение спросить у автоматики «а весь ли текст ты вообще видела» — это теперь навык руководителя, такой же обычный, как умение прочитать отчёт о деньгах. Раньше хватало доверия к подрядчику и к красивому интерфейсу. Сейчас тот, кто умеет проверить трубу с данными, стоит дороже того, кто умеет только требовать отчёт.

Как замкнуть петлю «оценка → разбор → изменение» — в бесплатном курсе.

И короткий чек-лист для вас: проверьте лимит ячейки, в которую складываются расшифровки; проверьте, доходят ли оценки до разбора с менеджером; проверьте, кто в вашей компании отвечает за то, чтобы по этим оценкам что-то менялось. Три проверки, полчаса времени — и вы будете знать, работает ваша аналитика или просто крутится.

Мы месяцы платили за аналитику, которая исправно работала и никому не помогала. Не повторяйте мой заход: начните сегодня с лимита ячейки.

Частые вопросы

Почему речевая аналитика неправильно оценивает длинные звонки?

Потому что расшифровка часто хранится прямо в ячейке таблицы, а у ячейки есть технический лимит символов. Длинный звонок — от десяти минут и дольше — в этот лимит не влезает, текст обрезается молча, без ошибки и предупреждения, и ИИ оценивает только начало разговора, честно занижая балл за то, что менеджер на самом деле сделал позже.

Как проверить, можно ли доверять оценкам ИИ по звонкам?

Ввести ручную сверку: каждый месяц часть звонков оценивает вручную отдел контроля качества параллельно с ИИ, а по каждому звонку считается дельта — разошлись ли оценки и насколько. В первый месяц так перепроверили 66 звонков — это не финальное решение, а способ измерить масштаб расхождения, прежде чем доверять автоматике полностью.

Почему оценка одного и того же звонка ИИ может отличаться при повторном прогоне?

Модель не детерминирована: при трёх прогонах одного и того же транскрипта получаются не три одинаковых результата, а три близких, но разных балла. Для менеджера, у которого от оценки зависит премия, разница в один балл — уже не мелочь, поэтому расхождение стоит замерять, а не игнорировать.

#контроль и надёжность #ии и нейросети #ошибки и провалы

→Дальше читать подобрано по направлению и темам
006
Критерий оценки качества работы в звонке: пять вместо пятидесяти
66 звонков ручной сверки · цена одной ошибки — до 2,4 млн ₽ (оценка) · 25% охват контролем вручную
049
Оценка работы менеджера по звонкам: как нейросеть разбирает весь поток и где она расходится с человеком
66 звонков сверки · 25%→100% охват · 10 чек-листов
053
Разработка личного кабинета: как один скрипт превратил 12 страниц в проблему
12 страниц одним скриптом · 0 интеграций с CRM · 30–40% меньше токенов на MCP