Риск, связанный с алгоритмами: игнорировать тех, кто делает все правильно, даже если они не выигрывают

Несколько дней назад два спортсмена преодолели марафонский дистанцию быстрее двух часов. В один и тот же день, в Лондоне. Их разделили всего 11 секунд. Возможно, одного из них будут помнить вечно. Другой — 28-летний эфиоп Йомиф Кеджелча — пробежал 42 километра за 1:59:41. Это был его первый марафон в жизни, он установил исторический рекорд. «В тот день он бежал быстрее, чем кто-либо до него на официальном марафоне. И тем не менее, для всего мира заголовки были другими». Почему? Потому что он финишировал вторым. «Существует термин, обозначающий ошибку, которую мы совершаем, когда воспринимаем это как нечто естественное. Оно называется «результирующим»: судить о качестве чего-либо по результату, а не по тому, что действительно произошло. Мы так поступаем со спортсменами, когда важна только победа. Мы так поступаем с компаниями, когда важна только прибыль. Это эффект Кеджелчи. В новостях и в книгах по менеджменту генеральный директор, чья компания выросла, — это визионер, смелый человек, опередивший свое время. Генеральный директор, чья компания не добилась экономического успеха, — это неосторожный, оторванный от реальности, высокомерный человек. Хотя они приняли одинаковые решения, располагая одинаковой информацией. На второй план отходит то, как это было сделано. На первый план выходит то, чем закончилась история. «Когда ситуация сложна, мы строим рассказ в обратном порядке, начиная с результата. И результат освещает все предыдущее своим собственным светом, и проблема не только в том, что это несправедливо. Дело в том, что это мешает нам лучше учиться. Но «результирование» — это не только индивидуальная ошибка. Организации поступают точно так же, причем с гораздо более серьезными последствиями. Фил Розенцвейг назвал это «эффектом ореола»: когда компания добивается успеха, все, что она делала, переосмысливается как гениальное. Ее методы изучают, копируют, экспортируют. Консалтинговые компании их документируют. В бизнес-школах мы их преподаем. И никто не спрашивает, был ли успех результатом этих практик или же это была удача, дефицит, рыночная ниша, ошибка конкурентов, коррупция. Результат превращает любое решение в доказательство правильности. Таким образом, предвзятость перестает быть личной ошибкой и становится доктриной. «Данные говорят о другом: успех всегда временен и зависит от окружающей среды, которая имеет столько переменных, что невозможно выделить одну причину. В спорте есть правила, определяющие, кто побеждает, в менеджменте это гораздо сложнее. Большинство компаний со временем исчезают или преобразуются, поэтому успешных компаний останется мало. Просмотрите любой список SP или Fortune 550 за разные периоды. Это делает очень сложным измерение успеха компаний по результатам в рамках определенного временного интервала. Нам не хватает дополнительных переменных, на которые нужно обратить внимание, чтобы учиться, лучше понимать процесс и не полагаться исключительно на финансовый результат. «Лучшая компания, в которой я работал, была приобретена. Я более 10 лет был директором в аргентинской семейной промышленной компании. Компании, которая включила в свой совет директоров представителей извне, потому что ее владельцы не хотели ограничиваться только своими собственными идеями». Решения принимались с учетом интересов клиентов, сотрудников, поставщиков и — в первую очередь — жителей того города, где они находились. Основатель и его семья создали то, что не поддается измерению с помощью показателей: организацию, которая делала все как следует, даже если это снижало прибыль. «Для рынка это было просто очередное поглощение. Для меня это была потеря чего-то, что общество зачастую не вознаграждает: хорошего процесса, хорошего пути». Я знаю и другие такие компании. Которые платили достойные зарплаты, когда в отрасли их снижали. Которые не перекладывали расходы на более слабых поставщиков. Которые инвестировали в обучение, когда квартальное давление требовало сокращений. Которые отказывались от определенных упрощений, на которые шли их конкуренты без видимых последствий. Некоторые из них продолжают существовать. Многие — нет. Я также знал много успешных компаний, практики которых я бы не рекомендовал. И система не делает различия между теми, которых больше нет из-за того, что они делали что-то не так, и теми, которых нет из-за того, что они делали все правильно в очень изменчивой и агрессивной среде. «И для этой колонки, посвященной технологиям и будущему, это важно, потому что именно этому мы учим машины игнорировать. Мы создаем системы, которые учатся. И мы учим их этому бинарному взгляду на успех в бизнесе. Оба: индивидуальный и организационный, вместе, в масштабе. «Модели искусственного интеллекта обучаются на исторических данных. Они учатся на примерах успеха, на тех, кто достиг цели, на тех, кого мир признал победителями. Они систематически игнорируют тех, кто не достиг цели, даже если те поступали правильно. Они воспроизводят «результирующий эффект», «эффект выжившего» и «эффект ореола», но в промышленных масштабах, со скоростью, которую ни один человек не способен контролировать, и с постоянством, которое ни один человек не смог бы поддерживать. «ИИ не просто наследует наши предубеждения. Она их усиливает. Ускоряет. Делает системными. Человек может изменить свои критерии. Он может что-то прочитать, услышать, пережить и посмотреть на вещи по-другому. У него есть внутреннее противоречие. У него есть сомнения. Его можно убедить. «Модель, обученная на исторических результатах в решении сложных задач, не имеет такой свободы. То, чему она научилась, остается в памяти. И когда она решает, кого финансировать, кого нанимать, какие инициативы рекомендовать, какие истории продвигать, она будет реагировать с этим предубеждением, умноженным, без усталости, без сомнений, в глобальном масштабе». «И есть еще кое-что более серьезное. Среди победителей наверняка есть доля тех, кто выиграл, идя на ухищрения. Сокращая затраты, за которые заплатил кто-то другой. Перекладывая последствия на общество. Модель не делает различия между победителем, который действовал правильно, и тем, кто достиг цели любой ценой. Она видит результаты. Учится на результатах. И будет воспроизводить все это вместе: настоящий талант и обходные пути, смешанные, без ярлыков, под видом объективности, которую могут дать только цифры. Это не будущий риск. Это то, что уже происходит. Вопрос, который мне кажется всё более актуальным, не носит технического характера: «Что мы считаем успехом?» Ведь как только в критериях оптимизации появляется предвзятость, её не исправить размышлениями во вторник вечером. Её не исправить доброй волей. Исправить это, если это вообще возможно, могут только целенаправленные, дорогостоящие и запоздалые усилия людей, которые в свое время не обратили на это внимания. «Если алгоритмы учатся только на примере победителей, а среди победителей есть те, кто добился успеха, идя на уловки, то алгоритмы в конечном итоге будут принимать решения бездушно. Не из-за злого умысла. Из-за архитектуры. Из-за того, чему мы их научили, когда никто не обращал на это внимания: на гораздо более широкое определение успеха. Результаты — это не всегда талант. «Есть еще многое, что мы должны выделить: компании, которые делают все правильно, образованные люди, которые расходятся и несут эти стандарты в другие места, доверие, построенное в сообществах, которые в нем нуждались, тихая демонстрация того, что можно действовать по-другому. Эта ценность существует, даже если она не отражена ни в одном балансе. И если мы не найдем способ, чтобы алгоритмы это увидели, мы построим мир, где это ничего не будет стоить. «Кеджелча пробежал свой первый в жизни марафон менее чем за два часа, а компании, в которой я работал, больше не существует. Кто о них вспомнит?»