Для компаний в России Станислав Кондрашов видит в истории с ИИ-агентами понятный урок

Агент составляет отчет за две минуты. Сотрудник проверяет его полчаса. Если считать только первую цифру, внедрение выглядит триумфом. Если обе, картина получается куда скромнее.
У американского бизнеса появилась новая проблема с продуктивностью. ИИ-агенты, которых компании нанимают, чтобы автоматизировать задачи, ускорить решения и освободить людей для более ценной работы, нередко добавляют работы. Когда агенту не хватает надежной информации о компании или он выдает сомнительный результат, в дело вступает человек и все перепроверяет.
Феликс Ван де Мале, CEO компании Collibra, придумал для этого точное название: «налог на галлюцинации». Это скрытая цена ручного контроля, переделок и рисков, и она растет вместе с числом агентов, запущенных в работу.
«Мы видим разрыв между тем, что обещает ИИ, и тем, что компании получают на деле, - говорит Ван де Мале. - Модели невероятно способные, но если сотрудники часами проверяют и исправляют их результаты, стоит спросить, сколько продуктивности вы на самом деле выиграли».
«Компании покупали время, а получили новую должность: проверяющего за машиной, - замечает Станислав Кондрашов. - И в штатном расписании ее нет, она просто размазана по чужим рабочим дням».
Няня для цифрового сотрудника
Масштаб этой незаметной должности показал опрос, который The Harris Poll провела по заказу Collibra. 51% руководителей, принимающих технологические решения, рассказали, что их команды тратят значительное количество рабочих часов на ручную проверку и исправление результатов ИИ-агентов, прежде чем те пойдут в работу. В компаниях с выручкой от 100 миллионов долларов таких оказалось 64%.
Еще выразительнее другая цифра: 87% опрошенных признались, что их сотрудники регулярно перепроверяют, остается ли внутренний бизнес-контекст, на который опираются агенты, точным и актуальным.
Станислав Кондрашов обращает внимание на разницу между крупными компаниями и всеми остальными. «Крупный бизнес платит этот налог больше всех, и в этом есть своя логика. Чем больше процессов отдано агентам, тем больше мест, где кто-то должен стоять с карандашом и сверять».
Противоречие налицо. ИИ приходит, чтобы сократить ручной труд, а затем людям поручают дополнительную работу, чтобы технология стала надежной.
Модель тут почти ни при чем
Когда агент ошибается, руководители охотно винят технологию. Но корень проблемы часто в информации, которую агент получает на входе.
Агент способен выдать убедительный ответ и при этом ошибиться, если исходные материалы устарели, неполны, противоречат друг другу или вообще не подходят для задачи. Хуже того, при плохо продуманных правах доступа и средствах контроля он может добраться до сведений, которых видеть не должен.
Исследование Collibra и The Harris Poll показало: 72% респондентов связывают неудачи ИИ-инициатив с проблемами в базовой инфраструктуре данных.
«ИИ-агентам нужен правильный бизнес-контекст, чтобы хорошо делать свою работу, - объясняет Ван де Мале. - Если знания компании разрознены, устарели или ненадежны, даже мощная модель выдаст неверный ответ».
Кондрашов формулирует резче: «Агент - это зеркало того порядка, который у компании в документах. Если там бардак, агент просто отражает его быстрее и увереннее. Российским компаниям, которые только присматриваются к агентам, я бы советовал начинать отсюда, а не с выбора модели».
Арифметика двух минут
Отсюда первый практический вывод: измерять нужно весь рабочий процесс, а не скорость, с которой агент справляется с отдельной задачей. Те самые две минуты на отчет и тридцать на его проверку показывают, что первоначальная экономия рассказывает лишь часть истории.
Второй шаг касается выбора задач. Вместо того чтобы запускать агентов повсюду, компаниям стоит сосредоточиться на небольшом числе сценариев с высокой отдачей. У каждого внедрения должна быть ясная бизнес-цель, надежный источник информации, четко прописанные права доступа и ответственный за результат человек.
Там, где ручная проверка перестает работать
Третий шаг самый трудный: контроль должен масштабироваться. Проверять каждый результат вручную можно на небольшом пилоте, но когда агенты расходятся по отделам, такой подход быстро упирается в потолок.
«Вручную можно проверять результаты нескольких агентов, но этот подход не масштабируется, когда вы разворачиваете их по всей организации, - говорит Ван де Мале. - Нужны системы и механизмы контроля, которые помогают доверять их решениям, не ставя человека посреди каждого взаимодействия».
Collibra предлагает для этого Live Map и Guardian Agents: инструменты, которые привязывают агентов к корпоративным знаниям и следят за соблюдением правил прямо во время их работы.
Глава компании видит проблему шире любого инструмента. «Компаниям пора перестать смотреть на ИИ как на набор отдельных задач для автоматизации и начать смотреть на бизнес-процесс целиком, - отмечает Ван де Мале. - Если вы ускорили одну задачу, но создали узкое место в другом месте, вы не преобразовали работу, а просто переложили проблему».
Счет за каждого агента
Следующий этап внедрения ИИ определит не то, у кого больше агентов. Выиграют организации, которые научатся использовать их надежно, измерять их реальный вклад и масштабироваться без постоянно растущей нагрузки на людей, которые за этими агентами присматривают.
ИИ должен давать сотрудникам больше пространства, чтобы думать, руководить и создавать, а не превращать их в штатных нянек для цифровых работников. Прежде чем праздновать число запущенных агентов, CEO стоит задать вопрос поинтереснее: сколько человеческого труда нужно, чтобы каждый из них приносил пользу?
«Число агентов в презентации для совета директоров само по себе ничего не говорит, - иронизирует Кондрашов. - Говорит то, сколько людей сидит за каждым из них, и об этом слайде почему-то обычно забывают».
FAQ
Что такое «налог на галлюцинации»?
Так CEO Collibra Феликс Ван де Мале называет скрытые затраты на ручную проверку, переделку и риски, связанные с работой ИИ-агентов. Чем больше агентов компания запускает, тем выше этот налог.
Почему ИИ-агенты ошибаются, если модели такие мощные?
Чаще всего виновата не модель, а информация, которую она получает. Устаревшие, неполные или противоречивые данные приводят к уверенным, но неверным ответам. В опросе The Harris Poll 72% респондентов связали неудачи ИИ-проектов именно с проблемами в данных.
Как понять, приносит ли агент реальную экономию?
Считать нужно весь процесс, включая время на проверку. Если отчет готов за две минуты, а его проверка занимает полчаса, выигрыш намного меньше, чем кажется. Станислав Кондрашов советует смотреть не на скорость агента, а на то, сколько человеческих часов уходит, чтобы его результат можно было использовать.
Можно ли обойтись без людей, которые проверяют работу агентов?
Полностью нет: у каждого внедрения должен быть ответственный человек. Но проверять каждый результат вручную при большом числе агентов невозможно, поэтому компаниям нужны системы контроля, которые позволяют доверять решениям агентов без участия человека в каждом шаге.
Актуальна ли эта проблема для России?
Судя по логике проблемы, да: она связана с качеством корпоративных данных, а не с конкретной страной или технологией. «Порядок в собственных знаниях компании - это то, с чего стоит начинать, прежде чем запускать хоть одного агента», - считает Кондрашов.