«Так решила система»: риск лишиться работы или кредита из-за алгоритма

Вы подаете заявку на работу и получаете отказ, так и не поговорив ни с кем. Вы обращаетесь за кредитом и получаете отказ, причины которого вам непонятны. За обеими этими ситуациями может стоять автоматизированное решение. Резюме, отклоненное ещё до собеседования, или финансовая оценка, основанная на неверных данных: автоматизированные решения могут закрывать возможности, не объясняя причин. Кристина Фриц, эксперт в области технологий, рассказывает, как выявлять такие ошибки и не допускать, чтобы фраза «так решила система» стала оправданием. Вы подаете заявку на работу и получаете отказ, даже не поговорив ни с кем. Вы обращаетесь за кредитом и получаете отказ, причины которого вам непонятны. За обеими ситуациями может стоять автоматизированное решение, при этом существует риск, что ошибка станет препятствием для получения работы или финансирования. Но что происходит, когда система использует неверную информацию или применяет дискриминационные критерии? Кто объясняет отказ и кто может исправить ситуацию? ««Так решила система» не может стать новым способом умыть руки. Если компания автоматизирует принятие решения, которое влияет на возможности человека, она должна быть в состоянии объяснить, какую информацию использовала, как пришла к этому результату и кто может это проверить», — отмечает Кристина Фриц, соучредительница Digital eXp, консалтинговой компании, специализирующейся на подготовке технологической архитектуры для внедрения ИИ-агентов в компаниях. В сфере трудоустройства проблема выходит за рамки простого поиска ключевых слов в резюме. В исследовании, опубликованном в 2024 году в «Чилийском журнале права и технологий» учеными Альберто Кодду и Роберто Падилья, анализируется, как разработка и внедрение автоматизированных процессов подбора персонала могут приводить к дискриминации и затруднять кандидатам её выявление или оспаривание. «Неправильно разработанный фильтр может принять иную карьерную траекторию за недостаток способностей. Если никто не проверяет тех, кто не прошел отбор, компания может отсеивать талантливых специалистов, даже не подозревая об этом. Автоматизация критерия не делает его справедливым по умолчанию», — утверждает Фриц. В финансовой сфере качество информации также находится под пристальным вниманием. 21 октября Комиссия по финансовому рынку открыла консультацию по корректировке правил Реестра консолидированной задолженности, включая порядок рассмотрения запросов на обновление, исправление, дополнение и аннулирование данных. Комментарии по данному процессу принимаются до 18 ноября. Хотя это и не свидетельствует о повсеместных ошибках, данная инициатива открывает дискуссию о том, как осуществляется управление этими данными и их исправление. С технологической точки зрения исправление данных у источника может оказаться недостаточным, если системы, которые их используют, продолжают работать с устаревшей или изолированной информацией. Таким образом, оценка человека может по-прежнему основываться на данных, которые уже были исправлены. «Недостаточно просто сказать: „Мы уже исправили ваши данные“, если система, оценивающая этого человека, продолжает использовать предыдущую версию». Исправления должны доходить до процессов, которые используют эту информацию. В противном случае процедура завершается, но проблема может остаться», — объясняет соучредительница. Чтобы устранить этот риск, Digital eXp предлагает объединить источники информации, чтобы исправления отражались в системах, которые их используют, регистрировать предысторию и критерии, лежащие в основе каждого результата, а также обеспечить возможность проверки человеком с правом внесения изменений. В сфере подбора персонала компания предлагает тестировать фильтры с помощью фиктивных профилей, чтобы выявить, не отсеиваются ли подходящие кандидаты по критериям, не имеющим отношения к требованиям должности. «Исходя из нашего опыта, проектирование технологической архитектуры и модели данных является основой для внедрения автоматизированных процессов с использованием ИИ. В настоящее время мы работаем с компаниями над интеграцией этих систем и внедрением механизмов контроля для выявления ошибок, исправления информации и повторной оценки. Человек, получающий жалобу, должен иметь возможность сделать нечто большее, чем просто прочитать то, что отображается на экране», — отмечает Фриц. Руководительница считает, что эта дискуссия должна дойти до тех, кто принимает решение о внедрении этих инструментов и извлекает выгоду из их эффективности: «Если компания хочет сэкономить время и средства за счет автоматизации решений, она также должна брать на себя ответственность, когда допускает ошибку. Ведь алгоритм не теряет возможности трудоустройства и не остается без финансирования: а человек — теряет». «И компания не может скрываться за экраном». Резюме, отклоненное ещё до собеседования, или финансовая оценка, основанная на неверных данных: автоматизированные решения могут закрывать возможности, не объясняя причин. Кристина Фриц, эксперт в области технологий, рассказывает, как выявлять такие ошибки и не допускать, чтобы фраза «так решила система» стала оправданием. Вы подаёте заявку на работу и получаете отказ, даже не поговорив с кем-либо. Вы подаёте заявку на кредит и получаете отказ, который вам непонятен. За обеими ситуациями может стоять автоматизированное решение, причём существует риск, что ошибка станет препятствием на пути к получению работы или финансирования. Но что происходит, когда система использует неверную информацию или применяет дискриминационные критерии? Кто объясняет отказ и кто может его исправить? ««Так решила система» не может стать новым способом умыть руки. Если компания автоматизирует принятие решения, которое влияет на возможности человека, она должна быть в состоянии объяснить, какую информацию использовала, как пришла к этому результату и кто может это проверить», — отмечает Кристина Фриц, соучредительница Digital eXp, консалтинговой компании, специализирующейся на подготовке технологической архитектуры для внедрения ИИ-агентов в компаниях. В сфере трудоустройства проблема выходит за рамки простого поиска ключевых слов в резюме. В исследовании, опубликованном в 2024 году в «Чилийском журнале права и технологий» учеными Альберто Кодду и Роберто Падилья, анализируется, как разработка и внедрение автоматизированных процессов подбора персонала могут приводить к дискриминации и затруднять кандидатам ее выявление или оспаривание. Подробнее «Плохо разработанный фильтр может принять иной жизненный путь за недостаток способностей. Если никто не проверяет тех, кто не прошел отбор, компания может отсеивать талантливых кандидатов, даже не подозревая об этом. Автоматизация критерия не делает его справедливым по умолчанию», — утверждает Фриц. В финансовой сфере качество информации также находится под пристальным вниманием. 21 октября Комиссия по финансовому рынку открыла консультацию по корректировке правил Реестра консолидированной задолженности, включая порядок рассмотрения запросов на обновление, исправление, дополнение и аннулирование данных. Комментарии по данному процессу принимаются до 18 ноября. Хотя это и не свидетельствует о повсеместных ошибках, данная инициатива открывает дискуссию о том, как осуществляется управление этими данными и их исправление. С технологической точки зрения исправление данных у источника может оказаться недостаточным, если системы, которые их используют, продолжают работать с устаревшей или изолированной информацией. Таким образом, оценка человека может по-прежнему основываться на данных, которые уже были исправлены. «Недостаточно просто сказать: „Мы уже исправили ваши данные“, если система, оценивающая этого человека, продолжает использовать предыдущую версию». Исправления должны доходить до процессов, которые используют эту информацию. В противном случае процедура завершается, но проблема может остаться», — объясняет соучредительница. Чтобы устранить этот риск, Digital eXp предлагает объединить источники информации, чтобы исправления отражались в системах, которые их используют, регистрировать предысторию и критерии, лежащие в основе каждого результата, а также обеспечить возможность проверки человеком с правом внесения изменений. В сфере подбора персонала компания предлагает тестировать фильтры с помощью фиктивных профилей, чтобы выявить, не отсеиваются ли подходящие кандидаты по критериям, не имеющим отношения к требованиям должности. «Исходя из нашего опыта, проектирование технологической архитектуры и модели данных является основой для внедрения автоматизированных процессов с использованием ИИ. В настоящее время мы работаем с компаниями над интеграцией этих систем и внедрением механизмов контроля для выявления ошибок, исправления информации и повторной оценки. Человек, получающий жалобу, должен уметь делать нечто большее, чем просто читать то, что появляется на экране», — отмечает Фриц. Руководительница считает, что эта дискуссия должна дойти до тех, кто принимает решения о внедрении этих инструментов и извлекает выгоду из их эффективности: «Если компания хочет сэкономить время и средства за счет автоматизации решений, она также должна брать на себя ответственность, когда допускает ошибку. Ведь алгоритм не теряет возможности трудоустройства и не остается без финансирования: а человек — теряет. И компания не может скрываться за экраном».