Amazon отказались от секретного инструмента рекрутинга c ИИ из-за предвзятости против женщин

Перевод любопытной статьи агентства Reuters "Amazonscraps secret AI recruiting tool that showed bias against women", автор Jeffrey Dastin. Статья, на мой взгляд, заставляет под иным углом посмотреть на активно распространяемую информацию о том, что "уже завтра рекрутеры станут не нужны".

Поскольку с некоторых пор я публикую переводы в блоге самостоятельно, представлюсь - Ольга Хайдарова, заместитель директора по управлению персоналом Международного института дополнительного образования, город Тюмень. По ссылке - профиль в facebook, хантить меня не надо (я работаю в любимой компании), а вот френдить - welcome.

Итак.

Amazon отказались от секретного инструмента рекрутинга c ИИ из-за предвзятости против женщин

Сан-Франциско (Reuters) - специалисты по машинному обучению Amazon.com Inc’s (AMZN.O) обнаружили серьезную проблему: их новому рекрутинговому инструменту не нравились женщины.

Команда с 2014 года создавала компьютерные программы, рассматривающие резюме претендентов на работу, с целью автоматизации поиска наиболее талантливых кандидатов, сообщили Reuters пять человек, знакомых с проектом.

Автоматизация является ключом к лидерству Amazon в интернет-коммерции, будь то внутренние склады или ценовая политика. Экспериментальный инструмент найма компании использовал искусственный интеллект для выставления оценок кандидатам - от одной до пяти звезд, по принципу, аналогичному оценке товаров на Amazon, рассказывали приближенные к проекту люди.

“Это был желанный Святой Грааль”, сказал один из них “Они в самом деле хотели, чтобы это был механизм, которому можно дать 100 резюме, он выплюнет пятерку топовых, и мы их наймем”.

Но к 2015 году компания поняла, что их новая система не оценивала кандидатов на должность разработчика ПО и другие технические должности гендерно-нейтрально.

Все потому, что компьютерные модели Amazon были обучены на выборках резюме, направленных в компанию за последние 10 лет. Большая часть из них были от мужчин, как следствие мужского доминирования в сфере высоких технологий.

МУЖЧИНЫ ДОМИНИРУЮТ

Топовые компании США все ещё вынуждены ликвидировать гендерный разрыв в найме, неравенство, наиболее  выраженное среди технического персонала, такого как разработчики программного обеспечения, где мужчины значительно преобладают. Экспериментальный рекрутинговый механизм Amazon’s следовал тому же паттерну, отбраковывая резюме, включающие слово “женский”, пока компания не обнаружила проблему.

Примечание: Amazon не раскрывает гендерное соотношение среди своих технических специалистов. 

Источник: последние доступные данные компаний, с 2017г.

By Han Huang | REUTERS GRAPHICS

Фактически, система Amazon обучала себя отдавать предпочтение кандидатам мужского пола. Она отклоняла резюме, которые содержали слово “женский”, такие как “капитан женского шахматного клуба”.  По словам людей, знакомых с этим вопросом, это снизило рейтинги выпускников двух женских колледжей. Они не указали названия школ.

Брошюры доступны потенциальным кандидатам в «День работы Amazon», ярмарки вакансий в фулфилмент-центре Amazon.com в Фолл-Ривер, штат Массачусетс, США, 2 августа 2017 года. REUTERS / Brian Snyder / File Photo

Amazon скорректировал программы, чтобы сделать их более нейтральными по этому условию. Но не было гарантий, что машины не не освоят другие дискриминационные способы сортировки кандидатов, озвучили близкие к проекту люди.

Как сообщили они на условиях анонимности, в начале прошлого года компания в конце концов расформировала команду, поскольку потеряла последнюю надежду на проект. Рекрутеры Amazon принимали во внимание рекомендации инструмента при найме, но никогда не полагались только на эти рейтинги, сообщили сотрудники.

Amazon отказались комментировать проблемы с технологией, но заявили, что “рекрутеры Amazon никогда не использовали этот инструмент для оценки кандидатов”. Дальнейших объяснений компания не предоставила. Это не подвергло сомнению тот факт, что рекрутеры принимали во внимание рекомендации инструмента.

Эксперимент компании, о котором агентство  Reuters сообщило первым, создал кейс об ограничениях машинного обучения. Он также служит уроком растущему списку компаний, таких как Hilton Worldwide Holdings Inc (HLT.N) и Goldman Sachs Group Inc (GS.N), которые планируют автоматизировать некоторые этапы процесса найма.

Согласно исследованию 2017 года, проведенному компанией по разработке ПО для поиска талантов CareerBuilder,  приблизительно 55% HR-менеджеров заявили, что искусственный интеллект в течение ближайших пяти лет станет непременной частью их работы.

Работодатели долго мечтали о задействовании технологий для расширения воронки найма и уменьшения субъективизма при принятии решения рекрутерами. Но программисты, такие как Нихэр Шах, который преподает машинное обучение в Университете Карнеги-Меллон, говорят, что еще много над чем надо работать.

“Как убедиться, что алгоритм справедлив, как удостовериться, что он действительно поддаётся объяснению - мы  по-прежнему достаточно далеки от этого”, сказал он.

“МУЖСКОЙ” ЯЗЫК

Эксперимент Amazon начался в решающий для крупнейшего мирового он-лайн ритейлера момент. Благодаря росту недорогих вычислительных мощностей, машинное обучение наращивало обороты в мире технологий. И HR-департамент Amazon готовился устроить рекрутинговый взрыв - согласно регулярной отчетности с июня 2015 глобальная численность компании более чем утроилась и достигла 575 700 сотрудников.

По словам людей, знакомых с данным вопросом, это намерение повлияло на создание команды в Эдинбургском центре Amazon, которая выросла примерно до дюжины сотрудников. Их целью было развитие ИИ, способного быстро исследовать мировую сеть в поисках ценных кандидатов.

Группа создала 500 компьютерных моделей, сфокусированных на специфических рабочих функциях и локациях. Они учили каждую распознавать около 50 000 условий, которые обнаруживались в прошлых резюме кандидатов. Алгоритмы учились не придавать особого значения навыкам, которые были обычны для IT кандидатов. такие, например, как умение писать различные компьютерные коды.

Вместо этого, технологии одобряли кандидатов, которые описывали себя используя слова, наиболее характерные для резюме кандидатов в инженеры мужского пола, такие, например, как “исполнено” и “захвачено”, сказал один из сотрудников.

Гендерная предвзятость была не единственной сложностью. Проблемы с данными, которые лежат в основе решений моделей, означали, что на все категории должностей часто были рекомендованы неквалифицированные кандидаты, сказали близкие к проекту люди. По их словам, технология, выдавала результат практически случайным образом, Amazon закрыла проект.

ПРОБЛЕМА ИЛИ РЕШЕНИЕ?

Другие компании продолжают двигаться вперед, подчеркивая стремление работодателей использовать искусственный интеллект для найма.

Кевин Паркер, исполнительный директор HireVue, стартапа, расположенного вблизи Солт-Лейк-Сити, говорит, что автоматизация помогает фирмам выходить за рамки тех же рекрутинговых сетей, на которые они давно полагаются. Чтобы уменьшить зависимость от резюме, продукт его компании анализирует речь и выражение лица кандидатов в ходе  видеоинтервью.

“Вы же не собираетесь возвращаться к тем же старым местам, вы не вернетесь в школы Лиги Плюща”, говорит Паркер. Среди его заказчиков такие компании, как Unilever PLC (ULVR.L) и Hilton.

Goldman Sachs создали свой собственный инструмент анализа резюме, который пытается сопоставить кандидатов с подразделением, для которого они будут «лучше всего подходить», сообщает компания.

LinkedIn, крупнейшая в мире профессиональная сеть компании Microsoft Corp (MSFT.O), продвинулась дальше. Он предлагает работодателям алгоритмическое ранжирование кандидатов на основе их соответствия вакансии, размещенной на своем сайте.

Тем не менее, Джон Джерсин, вице-президент LinkedIn Talent Solutions, утверждает что это не является заменой традиционных рекрутеров.

«Сегодня я определенно не доверю ни одной системе искусственного интеллекта принять решение о найме самостоятельно», - сказал он. «Технология просто еще не готова».

Некоторые активисты говорят, что они обеспокоены непрозрачностью процессов ИИ. Американский союз гражданских свобод (The American Civil Liberties Union, ACLU) сейчас оспаривает закон, который разрешает уголовное преследование исследователей и журналистов, проверяющих использование алгоритмов веб-сайтов на дискриминацию.

«Мы все больше сосредотачиваемся на проблеме алгоритмической справедливости», - сказала Рейчел Гудман, адвокат штата с программой «Расовая справедливость» в ACLU.

Тем не менее, Гудман и другие критики ИИ признали, что было бы чрезвычайно сложно подать в суд на работодателя по поводу автоматического найма: кандидаты на работу, вероятно, никогда не узнают о его использовании.

Что касается Amazon, компании удалось сохранить часть того, чему она научилась из своего неудачного эксперимента с ИИ. В настоящее время он использует «многопоточную версию» механизма рекрутинга, помогая с некоторыми элементарными задачами, включая отбор дублирующих профилей кандидатов из баз данных, сказал один из людей, знакомых с проектом.

Другой сообщил, что в Эдинбурге была сформирована новая команда, чтобы дать автоматическому подбору еще один шанс, на этот раз с ориентацией на разнообразие.