директор и машина · операционное управление · запись № 015 · · Давид Герштейн
Почему внедрение ИИ не работает — хотя технически всё запустилось
Внедрение ИИ проваливается не в модели, а в четырёх местах: нет ритуала разбора результатов, автоматизация требует надзора, данные CRM врут, пилот выдан за продакшен. Все четыре — управленческие задачи. Разбор на собственных провалах с цифрами.
За последний год я поставил в операционку среднего бизнеса несколько ИИ-контуров: оценку качества звонков, распознавание документов, отчётность для руководителей. Часть из них работает и приносит измеримую пользу. Часть — работает технически и не приносит ничего. Эта статья про вторую категорию, потому что про неё не пишет никто: агентства продают кейсы успеха, а самое дорогое знание лежит в провалах.
Все ошибки ниже — мои собственные. Каждая стоила недель работы, и каждую можно было предвидеть.
Ошибка 1. Внедрение ИИ считают технической задачей
Мой самый поучительный провал выглядит так. Система оценки качества звонков: слушает все разговоры менеджеров, оценивает по чек-листу, показывает провалы. Технически — образцовая: за несколько месяцев она оценила 7139 разговоров, порядка 177 в день, себестоимость — около 300 долларов в месяц. Ни один отдел контроля качества не даст такой охват за такие деньги.
А теперь цифра, которая важнее: за весь период руководители оставили на эти оценки один отзыв. Один. Калибровка критериев оборвалась через месяц после запуска. Система продолжала оценивать — результаты никто не разбирал.
Технология заработала. Управленческая петля — нет. Оценка звонка что-то меняет только тогда, когда руководитель садится с менеджером и разбирает разговор. Этот ритуал никто не спроектировал: считалось, что «система покажет — люди увидят». Не увидят. У людей есть текущая работа, и новый экран с оценками в неё не встроен.
Ошибка 2. Автоматизация, которая требует надзора
Вторая история короче. Автоматический процесс публикации контента упёрся в ошибку и молча остановился. Утром я обнаружил, что ничего не вышло, запустил руками, разобрался. Через неделю — снова. Фраза, которую я тогда сказал своему же ИИ-ассистенту, стала для меня определением проблемы: «Если бы я не пошёл к тебе, ничего бы не произошло».
Автоматизация, которая требует, чтобы за ней следили, — это не автоматизация. Это вторая работа. Вы не убрали задачу — вы добавили к ней слежку за роботом, который её делает.
У каждого автоматического процесса должны быть три вещи, и они дороже самой автоматизации: перезапуск после сбоя без человека, громкое оповещение, когда перезапуск не помог, и ответ на вопрос «работаешь ли ты прямо сейчас», который можно получить за десять секунд. Пока этих трёх вещей нет — процесс нельзя считать внедрённым.
Ошибка 3. Доверие к данным, на которых всё стоит
Самая коварная категория. ИИ-отчётность строится на данных CRM — а данные врут. Не метафорически: в один из месяцев я обнаружил, что у 12,9% лидов дата создания изменилась задним числом. Сдвиги накапливались, две выгрузки за один и тот же период давали разные числа. Отчёты, построенные на этих данных, были красивыми, убедительными и неверными — подробно я разобрал это в статье про враньё данных в CRM.
Отдельный случай той же болезни — модели, которые убеждают сильнее, чем заслуживают. Первая версия стратегической модели, которую я собирал для совета директоров, занижала цель по выручке втрое против утверждённой стратегии. Поймали до показа — сверкой с утверждённым планом. Если бы не поймали, руководство приняло бы решения на основе цифры, которая выглядела идеально и была неверна.
Ошибка 4. Пилот вместо продакшена
Рынок устроен так, что подрядчику выгодно продать пилот: быстро, дёшево, красиво на демо. Пилот почти всегда «успешен» — и почти никогда не доживает до ежедневной работы, потому что между демо и продакшеном лежит всё самое дорогое: обработка граничных случаев, права доступа, поведение при сбоях, обучение людей, встраивание в существующий процесс.
На распознавании документов я прошёл этот путь целиком. На демо всё распознаётся прекрасно. В реальном потоке: сканы вверх ногами, один документ в пяти файлах, рукописные вставки, типы документов, которых нет в библиотеке. Точность извлечения ключевых полей у нас выросла с 59% до 85% — но не сменой модели, а месяцами калибровки под каждый из 79 типов документов и, главное, честным разделением потока на режимы: что обрабатывается автоматически, что — автоматически с проверкой человеком, что — только руками. Без этого разделения первая же ошибка на важном документе убивает доверие ко всей системе.
Ошибка 5. Считать эффект в технологиях, а не в деньгах
«Мы внедрили нейросеть» — не результат. Результат — это «комплект документов, который менеджер раскладывал полтора часа, теперь раскладывается за минуты, и менеджер за день обрабатывает втрое больше клиентов». Если эффект нельзя сформулировать в часах и деньгах — его, скорее всего, нет, и технология поставлена ради технологии. Сколько это стоит в живых деньгах, я разбирал отдельно, на своих счетах за API.
Что из этого следует
Внедрение ИИ проваливается не там, где ожидают. Не в модели — модели сейчас хороши. Оно проваливается в четырёх местах: в отсутствии управленческого ритуала вокруг системы, в автоматизации без самоконтроля, в данных, которым поверили без проверки, и в пиле, который выдали за продакшен.
Все четыре — управленческие задачи, а не технические. Поэтому и заниматься ими должен тот, кто отвечает за результат отдела, а не тот, кто сдаёт проект по акту.