Как измерить эффективность ИИ

Сначала появился ИИ, и руководители компаний потеряли голову: они заявили, что все должны использовать эту технологию, независимо от того, полезна она или сколько стоит. Они составили рейтинги использования ИИ и придумали такие слова, как «tokenmaxxing». И действительно, использование ИИ возросло. Пока руководители не вспомнили о некоторых самых базовых понятиях, таких как «бюджеты», и не осознали, что, возможно, это всё-таки не была такая уж хорошая идея. Тогда в конференц-залах стал звучать другой вопрос: какова окупаемость инвестиций. И на этот вопрос оказалось гораздо сложнее ответить. «Эта краткая версия истории внедрения ИИ не совсем справедлива. Пока организации пытаются стимулировать его использование, всё ещё может иметь смысл отслеживать такие показатели, как расход токенов сотрудниками. «Я бы ожидал, что программисты тратят больше денег, чем финансовый аналитик», — говорит руководитель одной из софтверных компаний. «Но среди сотрудников финансового отдела потребление не должно быть нулевым». «Однако показатели использования — также известные как показатели входа — не позволяют понять, создаётся ли какая-либо ценность. И даже когда ИИ приносит выгоду, отмечает Мика Руоконен из Университета LUT в Финляндии, большая часть этой выгоды незаметно накапливается у отдельных сотрудников в виде небольшой экономии времени». Если у сотрудника освобождается один или два дополнительных часа, которые он тратит на покупку товаров в Vinted (приложении, специализирующемся на товарах из вторых рук), то кто-то от этого выиграл — в первую очередь Vinted — но не компания, в которой работает этот человек (если только он не работает в Vinted).» Сосредоточение внимания на возврате инвестиций в ИИ подразумевает уделение большего внимания показателям, основанным на результатах, таким как производительность команд или удовлетворённость клиентов. Но это требует тщательного обдумывания. Например, учёные используют ИИ для публикации большего количества научных статей (хорошо!) сомнительного качества (плохо!). Недавнее исследование Тулси Сучака из Университета Суррея и его соавторов показало, что количество работ, основанных на базе данных по здоровью и питанию, в период с 2014 по 2021 год увеличивалось в среднем на четыре в год. За первые девять месяцев 2024 года было опубликовано 190 таких работ. «Поэтому показатели, основанные на результатах, должны быть разработаны таким образом, чтобы отражать как положительные, так и отрицательные последствия ИИ. В Google, например, инженеров уже давно оценивают по трем критериям. Один из них — скорость: сколько времени занимает, например, рецензирование кода. Другой — удобство: насколько легко в системе выполняются такие задачи, как привлечение новых разработчиков. Третьим, и самым важным, является качество». «Я не хочу просто действовать быстро и упростить выпуск ужасного программного обеспечения», — говорит Ричард Серотер из Google Cloud. «Ситуация еще более усложняется тем, что преимущества ИИ зачастую проявляются не сразу. Людям нужно время, чтобы научиться использовать эту технологию. Рост производительности может привести к возникновению узких мест в других областях». В работе, опубликованной в прошлом году Кристиной МакЭлхеран из Университета Торонто, был проанализирован процесс внедрения ИИ в американских производственных компаниях и подтверждено существование «J-образной кривой»: производительность сначала падает, а затем начинает расти. Этот эффект особенно выражен в уже устоявшихся компаниях и, по-видимому, частично объясняется изменениями в управленческих практиках, которые ранее помогали компаниям контролировать свою эффективность. Любые расчёты прогнозируемой отдачи должны учитывать этот начальный период перестройки. «Руководителям также предстоит принять решение по ещё более фундаментальному вопросу: какого рода отдачу они стремятся получить? Один из способов продемонстрировать финансовую отдачу от ИИ — использовать экономию времени как аргумент для сокращения числа сотрудников. Для некоторых видов работы и при определенных обстоятельствах это может иметь смысл. Но «мотопилы» и моральный дух сотрудников сочетаются так же хорошо, как соль и слизни. Кроме того, людей, которых больше нет в компании, невозможно перенаправить на более продуктивные задачи. Лучший вариант — рассчитать, сколько денег позволяет сэкономить ИИ, избавляя от необходимости расширять штат. Определить, какая доля дополнительной выручки приходится на долю технологии, — это скорее искусство; как минимум, для выделения её влияния нужны надёжные исходные данные и культура проведения A/B-тестирования. «Помимо всего прочего, существует огромная неопределённость относительно того, в каком направлении развивается ИИ. Это служит аргументом в пользу третьего набора показателей, дополняющих показатели вложений и результатов. Эти показатели, которые Серотер называет «ориентированными на организацию», в большей степени направлены на оценку того, насколько эффективно осуществляется управление изменениями. Они могут включать данные об уровне удовлетворенности сотрудников тем, как был внедрен ИИ, или о прогрессе в накоплении внутренних знаний и навыков в тех областях, которые ИИ не будет автоматизировать. «Подход, ориентированный исключительно на использование, игнорирует важность отдачи. Жесткий подход, сосредоточенный исключительно на отдаче, игнорирует необходимость постоянного обучения».