ГАЗЕТА · · 7 МИН ЧТЕНИЯ
Проблемы внедрения ИИ: как проверить процесс, данные и пилот
Почему проекты с ИИ застревают после пилота и как до старта проверить процесс, данные и критерии успеха, чтобы не платить за эксперимент без результата.
Демо прошло отлично: агент за минуту разобрал договор, руководство довольно, пилот запущен. Через три месяца выясняется, что агентом пользуются два человека из двадцати, экономию никто не считал, а подрядчик просит бюджет на «доработки». Так выглядят типичные проблемы внедрения ИИ: технология работает, а в работу компании так и не попадает.
Хорошая новость в том, что большинство таких проблем видно до старта. Их не нужно обнаруживать на пилоте за деньги — их можно проверить на бумаге за несколько дней. Ниже — что именно проверять: процесс, данные и критерии пилота.
Что говорят исследования — и чего они не говорят
Громких цифр о провалах много, но к ним стоит относиться осторожно.
- Gartner в 2024 году прогнозировал, что минимум 30% проектов с генеративным ИИ бросят после пилота к концу 2025 года. Причины: плохое качество данных, слабый контроль рисков, растущие расходы и непонятная ценность для бизнеса (Gartner).
- В 2025 году Gartner дал похожий прогноз для ИИ-агентов: больше 40% таких проектов закроют к концу 2027 года. Там же сказано, что многим задачам, которые продают как «агентные», агент на самом деле не нужен (Gartner).
- Самая цитируемая цифра — «95% компаний не получили отдачи от ИИ» — из отчёта MIT NANDA 2025 года (отчёт, PDF). Но в его основе интервью с представителями 52 организаций, опрос 153 руководителей и разбор публичных кейсов. Авторы сами оговариваются, что цифры основаны на интервью, а не на отчётности компаний, и что «успех» компании понимают по-разному.
Первые два пункта — прогнозы, третий — небольшое исследование. Точной доли неудачных внедрений не знает никто. Зато причины во всех трёх источниках повторяются: непонятная ценность, данные, расходы и инструменты, которые не встроены в реальную работу. Это и стоит проверять.
Проблемы внедрения ИИ: где проект ломается
| Проблема | Как выглядит | Что проверить до старта |
|---|---|---|
| Нет задачи | «Внедрить ИИ» вместо «сократить время разбора счетов» | Можно ли назвать один процесс и одну цифру, которую он должен улучшить |
| Нет хозяина | Проект ведёт ИТ, бизнес «посмотрит, что получится» | Кто в бизнесе отвечает за процесс и примет результат пилота |
| Данные | Документы в почте, версии расходятся, доступа нет | Есть ли 30–50 реальных примеров и откуда агент будет их брать |
| Нет критериев | Пилот «прошёл хорошо», но что именно улучшилось, неясно | Какие метрики, какой порог и когда принимаем решение |
| Пилот в стороне | Агент живёт в отдельном окне, а работа — в CRM и почте | Где сотрудник увидит результат агента в своём обычном рабочем дне |
| Ошибки никто не разбирает | Агент повторяет одни и те же промахи, доверие падает | Кто смотрит ошибки, как часто и как правки попадают в агента |
Хорошо видно, как это работает вместе, на публичной истории девелопера DOGMA. Первую попытку внедрить агентов компания закрыла: ИИ-отдел отвечал только за технологию, бизнес в постановке задач не участвовал, мешали разнородные документы и сложные интеграции. Мы подробно разбирали этот случай в расследовании.
Как проверить процесс
Агента внедряют не «в компанию» и не «в отдел», а в конкретный процесс. Если процесс не удаётся описать на одной странице, агенту в нём тоже будет неуютно. Ответьте на вопросы:
- Что за задача. Глагол и объект: «разобрать входящий счёт», «ответить на обращение о возврате». Не «помогать бухгалтерии».
- Кто хозяин. Человек в бизнесе, который отвечает за результат процесса, а не за ИИ. Он ставит задачу, принимает пилот и решает, что дальше.
- Сколько случаев. Десятки в месяц — скорее всего, рано. Сотни и тысячи — есть что экономить.
- Насколько случаи похожи. Какая доля проходит по стандартному пути, а какая — исключения, которые и сейчас решает опытный сотрудник.
- Цена ошибки. Что будет, если агент ошибётся: письмо уйдёт с опечаткой или деньги уйдут не тому контрагенту.
Если ответы есть, можно посчитать экономику. Как прикинуть её на салфетке, мы показывали в статье «Как понять, окупится ли AI-агент в вашем процессе».
Как проверить данные
Модели меняются каждые полгода, а данные компании остаются. Поэтому данные проверяют до выбора модели и подрядчика.
- Соберите реальные примеры. 30–50 обезличенных документов, писем или заявок из живого потока, включая неудобные: сканы, таблицы, письма без темы. Красивые примеры из презентации не годятся.
- Найдите правильные ответы. Для каждого примера — что должен был сделать сотрудник. Это будущий тестовый набор: на нём проверяют агента до пилота и после каждой доработки.
- Проверьте актуальность. Если регламент существует в трёх версиях, агент будет уверенно цитировать устаревшую. Как с этим справляться, разбирали в статье про базу знаний.
- Проверьте доступ. Откуда агент возьмёт данные в работе: API системы, выгрузка, общая папка. «Сотрудник будет копировать вручную» — плохой ответ.
- Решите, куда данные можно передавать. Персональные данные и коммерческую тайну нельзя отправлять в любой облачный сервис без оценки. Это вопрос к юристу и службе безопасности, и его стоит задать в первую неделю, а не перед запуском.
Критерии пилота: что записать до старта
Самая частая проблема внедрения ИИ на этапе пилота — его невозможно завершить. Он «в целом работает», но решения «масштабировать или остановить» никто не принимает, потому что его не с чем сравнить. Поэтому критерии записывают до старта, вместе с порогами и датой решения.
Для примера — критерии пилота агента, который разбирает входящие счета:
| Метрика | Как меряем | Порог для запуска (пример) |
|---|---|---|
| Точность полей | Сверка с правильными ответами на тестовом наборе | Не меньше 95% |
| Доля без правок | Сколько счетов сотрудник подтвердил, ничего не исправив | Не меньше 70% |
| Время на счёт | Замер до пилота и на пилоте | Сокращение вдвое |
| Ошибки в учёте | Сколько ошибок агента прошло проверку и попало в учёт | Ноль |
| Использование | Доля счетов, которые прошли через агента | Не меньше 80% потока пилотной группы |
Последняя строка важнее, чем кажется. Если сотрудники обходят агента, никакая точность на тестах не превратится в экономию.
К метрикам добавьте ещё три вещи:
- Границы. Одна группа сотрудников, часть потока, понятный срок: для примера, 4–6 недель.
- Критерий остановки. «Если к третьей неделе доля без правок ниже 40%, останавливаем и разбираем причины». Остановить пилот вовремя — тоже результат.
- Дата решения. В этот день хозяин процесса выбирает одно из трёх: масштабировать, доработать с новым сроком или закрыть.
Как провести пилот, чтобы он не застрял
- Встройте агента в рабочую систему. Результат должен появляться там, где сотрудник и так работает: в CRM, почте, 1С. Отдельное окно «для ИИ» быстро забывают.
- Начните с режима черновика. Агент готовит, человек подтверждает. Так ошибки не попадают в учёт, а каждая правка показывает, где агент ошибается. Об уровнях самостоятельности агента — в статье «ИИ-агент для бизнеса».
- Разбирайте ошибки каждую неделю. Журнал ошибок, короткая встреча с хозяином процесса, правки в инструкции или данных, повторный прогон тестового набора. Агент, которого не дообучают на ошибках, теряет доверие сотрудников за пару недель.
- Сравнивайте с тем, что было. Замер «до» делается до старта пилота. Потом его уже не восстановить.
Когда внедрение лучше не начинать
- Процесс ещё не устоялся и меняется каждый месяц.
- Случаев слишком мало: экономия не покроет даже сопровождение.
- Нет хозяина в бизнесе, а идея исходит только от ИТ или от желания «тоже внедрить ИИ».
- Данные нельзя передавать наружу, а бюджета на собственную инфраструктуру нет.
- Ошибка стоит дорого, а проверять результат агента некому.
В этих случаях честнее навести порядок в процессе или данных и вернуться к ИИ через полгода. Это дешевле, чем пилот, который закончится ничем.
С чего начать
Заполните паспорт пилота на одну страницу: процесс, хозяин, объём, примеры данных, метрики с порогами, критерий остановки и дата решения. Если какую-то строку заполнить не получается, вы нашли проблему внедрения до того, как за неё заплатили.
Быстрее всего проверить себя по чек-листу: отметьте, что у вас уже есть.
Сколько при этом будет стоить сам агент и из чего складывается цена, мы разбирали в статье «Сколько стоит ИИ-агент».
