Перевод статьи SIOP Releases Recommendations for AI-Based Assessments

SIOP выпустило рекомендации по ассессменту персонала на основе ИИ

SIOP - это Society for Industrial and Organizational Psychology 

В январе SIOP выпустила рекомендации по оценке на основе искусственного интеллекта.

Соображения и рекомендации по проверке и использованию оценок на основе ИИ для отбора сотрудников теперь можно найти на веб-сайте SIOP. Этот документ дополняет заявление SIOP об использовании ИИ для найма, которое было создано Целевой группой SIOP по оценке и прогнозированию персонала на основе ИИ весной 2022 года.

«Растет обеспокоенность по поводу использования ИИ при принятии решений о трудоустройстве, и как федеральное правительство, так и правительства штатов принимают законы для решения многих из этих проблем», — сказал председатель Целевой группы Крис Най. «Многие члены SIOP обладают опытом в областях, связанных с подбором, оценкой и использованием искусственного интеллекта на рабочем месте. Поэтому мы хотели использовать этот опыт, чтобы предоставить дополнительные рекомендации, подкрепленные научными исследованиями, о том, как можно эффективно и законно использовать оценки на основе ИИ в контексте отбора сотрудников».

ИИ меняет то, как организации оценивают и нанимают таланты. Эти изменения происходят быстро, но при этом мало указаний о том, как эффективно проверять, внедрять, интерпретировать и использовать оценки, полученные в результате оценок на основе ИИ, в этом контексте. Цель нового документа — предоставить научно обоснованные рекомендации по эффективному использованию ИИ для оценки и найма талантов.

Ключевая тема, которая возникает в рекомендациях, заключается в том, что оценки на основе ИИ, используемые для принятия решений о найме и продвижении по службе, требуют такого же уровня проверки и должны соответствовать тем же стандартам, которым десятилетиями подвергались традиционные тесты при приеме на работу. Однако способ оценки и соблюдения этих стандартов может быть уникальным для оценок на основе ИИ. В рекомендациях обсуждаются уникальные проблемы и соображения, возникающие при разработке, оценке, использовании и интерпретации оценок на основе ИИ.

Эти рекомендации подробно обсуждаются в пяти разделах:

• Раздел 1. Оценки на основе ИИ должны давать оценки, которые точно предсказывают будущую производительность труда или другие соответствующие результаты
• Раздел 2. Оценка на основе ИИ должна давать стабильные оценки, отражающие характеристики, связанные с работой (например, при повторной оценке)
• Раздел 3. Оценки на основе ИИ должны давать оценки, которые считаются справедливыми и непредвзятыми
• Раздел 4. Операционные соображения и надлежащее использование оценок на основе ИИ при приеме на работу
• Раздел 5. Все шаги и решения, относящиеся к разработке и подсчету оценок на основе ИИ, должны документироваться для проверки и аудита.

«Эти рекомендации основаны на предыдущих стандартах и передовых методах, но обсуждают нюансы, связанные с использованием оценок на основе ИИ», — сказал Най. «Мы считаем, что эти рекомендации будут полезны для всех, кто в настоящее время использует или планирует использовать оценки на основе ИИ в своей организации».

Целевая группа SIOP по оценке и прогнозированию персонала на основе ИИ была запущена осенью 2021 года в ответ на более широкое использование ИИ при отборе и продвижении по службе сотрудников. Члены целевой группы дважды встречались с комиссаром Комиссии США по равным возможностям трудоустройства (EEOC) Китом Сондерлингом, чтобы обсудить ИИ на рабочем месте. Члены SIOP, являющиеся экспертами в таких областях, как найм и управление талантами, оценка сотрудников, предвзятость измерений и использование технологий на основе ИИ на рабочем месте, идеально подходят для предоставления рекомендаций и руководства по вопросам, связанным с разработкой и внедрением. оценок на основе AI/ML, которые используются для принятия решений о трудоустройстве.

Прогноз отбора в кадровый резерв и назначения на должность на основе данных. Наш ответ Google

Показываю пример анализа / выявления критериев отбора в кадровый резерв и назначения на руководящую должность на основе данных. Компанию не называю, некоторые детали опускаю. Переменные следующие:

• Пол кандидата;
• Возраст кандидата;
• Статус кандидата в кадровый резерв: Внешний / Внутренний;
• Оценки ассессмент центра (среди компетенций: эффективная коммуникация, ориентация на достижение, организаторские способности и т.п..). Трехбальная система оценки;
• Результаты интеллектуального теста (5 шкал, среди которых вербальный, числовой интеллект, тест на логику и т.п.);
• Результаты личностного опросника.

Управляемые переменные

• Включен / не включен в кадровый резерв;
• Назначен в последующем на руководящую должность / не назначен.

Всего 178 наблюдений. В этом вопросе у нас есть опыт Google - см Google нашла формулу продвижения по службе, которая для построения формулы продвижения по службе логистическую регрессию. А мы со своей стороны дадим свой ответ google.

Задача

В чем собственно задача. Компания тестировала специалистов кучей разных способов, а мы хотим проверить, какие из данных способов были действительно значимы и влияли на результат.

Факторы отбора в кадровый резерв

Начнем с первого. Всего процедуру прошло 178, из них назначены в кадровый резерв 57 или 32 % вошло в кадровый резерв. 

Значимые факторы отбора (в порядке убывания значимости):

• Упражнение ассессмент – центра «Эффективная коммуникация»;
• Статус кандидата;
• Шкала интеллектуального теста на способности к логике;
• Упражнение ассессмент – центра «Организаторские способности» (упражнение на управление людьми).

Напоминаю, что официально в данной компании складывали балы и принимали решение на основе неких обобщенных показателей, но реально за этим стоит такая картина.

Не знаю, декларировали ли в данной компании равенство кандидатов (внешних и внутренних) перед кадровым резервом, но внутренние резервисты явно выбирались значимо чаще. Удивительно, что среди значимых факторов есть тест на логику – значит, в этой компании не все так плохо. Правда, руководители компании были удивлены, что именно эта шкала была значимой, поскольку они сами полагали, что вербальный интеллект ими учитывается больше, чем тест на логику.

И ничего удивительного с личностным тестом: там ничего даже близко не показало связей.

Полученная точность модели – 77 %. Для знатоков статистики напомню, что у нас базовая точность модели 68 % (см. выше, у нас 57 кандидатов прошли в кадровый резерв из 178, т.е. 32 %, а по другому это 68 %. Т.е. если мы ткнули бы в любого попавшегося кандидата в кадровый резерв, то с 68 % точностью мы могли бы сказать, что он не попадет в него), и, значит, наша 77 % точность модели добавляет прогнозной точности.

Для примера западный кейс, какая там бывает прогнозная точность Кейс по оценке эффективности подбораи адаптации персонала

Кстати говоря, упражнение ассессмент – центра «Эффективная коммуникация» обладало очень высокой прогностичной ценностью: если кандидат получал высший бал по этому упражнению, то он с 93 % вероятностью попадал в кадровый резерв. 

И обратите внимание на одну деталь: это упражнение было первым в ассессмент центре, помните про первые несколько минут знакомства? За какое время у нас складывается впечатление о новом человеке? Не напоминает ситуация данной компании это самое первое впечатление?)

Назначение на должность

Еще более интересно было бы узнать, а есть ли значимые факторы при назначении на должность. Т.е. мы с вами отобрали людей в кадровый резерв, теперь кого-то из них могут назначить на должность, а кого то нет.

Задача в том, чтобы попробовать спрогнозировать назначение на должность на этапе отбора в кадровый резерв.

Напомню, у нас 57 резервистов. Из них в итоге назначено на должность 34 кандидата или 60 %.

Картина оказалась маслом.

Из всех факторов значимым был только фактор Статус кандидата.

Эта картина значит следующее: если ты «свой», т.е. внутренний кандидат, то вероятность быть назначенным на должность равна 72 %, если ты «чужой», т.е. внешний, то вероятность быть не назначенным равна 73 %.

Общая точность модели равна 70 %, т.е. мы с такой точностью можем прогнозировать назначение на должность резервиста.

Резюме

Мне вспомнился фильм «Человек,который изменил все». Команда главного героя стабильно попадала в финал лиги – в кубковую серию, но выиграть их никак не могла. Аналитики делают заключение: модель команды рассчитана только на попадание в финал, а на выигрыш финала не рассчитана, здесь нужны другие качества.

Так и в нашем случае: попасть в кадровый резерв нужны одни качества, а быть назнченным на должность – немного другие. 
В нашем случае рискну дать свою интерпретацию: в кадровый резерв берут на основе первого впечатления (упражнение "эффективная коммуникация"), а на должность назначают уже своих.
Круто?)

Прогноз 2015: российский рынок изменит свое представление о природе ассессмент центра

Изменение глобально одно, но я разобью его на поинты:

1. Валидизация модели компетенций (ценность ассессмент центра) на основе мнений экспертов сменится на валидизацию на основе данных: мы начнем искать корреляции;
2. Изменится отношение к данным: не найдя значимых связей между традиционными процедурами ассессмент центра и эффективностью и т.п.. работников, мы начнем искать данные из других источников. И сюда же: изменятся процедуры ассессмент центра. В качестве далекой перспективы: участник ассессмента будет больше тратить время на электронном ассессменте, на веб симуляторах, а оценка его деятельности будет проходить по логам id session
3. Изменятся процедуры создания модели компетенций: интервью по получению поведенческих примеров потеряет свой вес 
4. Главное: изменится понимание самой природы ассессмент центра: мы потеряем прибежище в виде стройных и чаще всего очевидно понятных психологических конструктов. Например (это фантазия), как бы мы не старались, мы не сможем притянуть компетенцию "клиентоориентированность" к модели. И сама модель будет "кривой", "косой" и за рамками здравого смысла. И нам придется играть с бизнесом в "черный ящик".

Несколько цитат в подтверждение.

Будущее ассессмент-центра и компетентностного подхода

Я уже предрекал смерть компетентностного подхода (на своем вебинаре Talent Analitycs / Bigdata HR (как показать влияние HR на бизнес показатели), на выступлении журнала Штата и т.п..
Если свести критику к одной фразе, то она выглядит так: машина прогнозирует лучше эксперта / человека.
Собственно, в этом суть технологий Больших Данных
В этом смысле очень интересную статью приводит Евгения Лурье Ложись, БОМБА, или Статистика Лучше Экспертов. Смысл статьи в следующим (цитирую Евгения):

"Любой самы простецкий математический способ объединения отдельных оценок в итоговую (даже банальное среднее) переигрывает консилиум крутых экспертов"

Супер! Это вполне красиво укладывается в ту метафору, которую я задал на тех же выступлениях: я привел пример из книги Большие данные, где рассказывалось о том, что компания Амазон (наш Озон) отказалась от услуг экспертов литературных рецентзентов, которые писали рекомендации для совместных покупок (мы с этим встречаемся, когда после выбора той или иной книги в интернет магазине нам предлагают купить что либо еще). Прогнозы экспертов людей оказались хуже прогнозов машины: математический анализ оказался лучше с т.з. прогноза того, какие книги будут покупать читатели вместе со своим выбором. Машина приносила больше денег Амазону, чем эксперт.
И это нас ждет в компетентностном подходе и ассессмент центре.
А я хотел немного дальше пойти и сказать, что еще нас ждет в ближайшее время (что именно случится с ассессмент центром):

• Роль поведенческих индикаторов возрастет и станет цениться по смысловой нагрузке значительно выше самой компетенции, поскольку поведенческий индикатор и есть базовый поведенческий фактор / потенциальный предиктор, т.е. его значительно проще использовать в анализе
• Сами индикаторы станут бинарными - есть проявление поведения / нет проявление. Это связано с тем, что бинарная переменная в какой то мере поможет избежать искажений оценки экспертом / человеком. В силу математики даже многоуровневые индикаторы дают больше искажения.
• Компетенции будут выдумываться не экспертами, а создаваться на основе математических моделей / анализа - факторного, кластерного. И здесь нас ждут самое вкусные вкусности и сюрпризы для тех, кто любит погружаться в содержательные вещи, а не просто, как я простой цифровой монстр: предсказывает, а что за этим стоит - не важно.
• Изменится само наполнение понятия "поведенческий" индикатор. Вполне допускаю, что измерения будут происходить машинкой (анализ текста). Хотя это дело будущего, поскольку
• Для применения машинного анализа консалтинговые компании должны стать накопителями информации по ассессмент центрам и собирать данные по участникам ассессмент - центров: от социально - демографических характеристик, до будущего специалистов. И это позволит повысить "Святой грааль HR" - прогностичную валидность.
• Роль эксперта человека сведется к минимуму при интерпретации результатов, эксперт останется, видимо, только как фиксатор поведения оцениваемого. При этом процедуру будут выстраиваться таким образом, чтобы избежать вольностей интерпретации экспертом, ведущих к искажениям
• При таком подходе ассессмент-центр встроится в реальные бизнес процессы компании, и бизнес и HR будут интересоваться не только (и даже скорее не столько) индивидуальными показателями специалистов, а каков % проявления той или иной компетенции, поскольку на основе этого HR и/или бизнес сможет прогнозировать рост продаж или текучесть персонала.
• И самое главное: HR-ы наконец перестанут вести дурацкие разговоры о том, на каком языке надо с бизнесом разговаривать. 

Это очень широкоми мазками, думаю, со временем, получив от вас пинков, напишу более развернутую статью.

Российская неделя HR 2014

Сегодня выступал на мероприятии Российская неделя HR 2014. Компания организатор Prime Time Forum. Компания не HR-ная, специализируется на организации и проведении конференций. Собрали всех известных спикеров, тренеров и "звезд HR эстрады". Что совершенно неплохо для HR публики, поскольку дает возможность оценить общий уровень тренеров, консалтеров и т.п....
Для тренеров, консалтеров, т.е. нас - отличный способ завести связи, "потрещать" со старыми знакомыми.
Я был с темой 10 ключевых трендов в мировом HR. Открывал форум, зажигал аудиторию. В презентации много повторов моих прошлых презентаций. Но есть и новый слайд - критичный поинт - я говорю о смерти компетентностного подхода. Мысль здесь не буду развивать, скажу только, что в классическом компетентностном подходе (читай Спенсеров, например) методология создания модели компетенции базируется на ИПП - интервью по получению поведенческих примеров. Далее, в самой процедуре оценки - ассессмент центре - оценки выставляют эксперты.
Итого имеем: 1) процедуру создания модели, которая мне не представляется корректной с т.з. создания валидной модели и 2) инструмент оценки - человек, который сам по себе источникк ошибки в стиле bias - смещения (ну, например, мужчины склонны давать более высокие оценки красивым женщинам и все такое... И это лишь один из типов смещения).
В итоге получаем bullshit: мы накладываем несколько ошибок друг на друга, а на выходе - невозможность предсказать эффективность работников на основе оценки по компетенциям (см например Кейс "Связь оценки по компетенциям и результатов деятельности").
И я бы готов принять аргументы, что при должном уровне организации создания модели компетенции, при подготовке ассессоров, можно достичь определенной валидности, но вот собрал я уже более 10-ти кейсов, а взаимосвязей между оценкой по компетенциями и эффективности работников не обнаруживается. И среди кейсов - оценка уважаемыми консалтинговыми компаниями.
Ниже фото с моего выступления и презентация

Identifying competencies with behavioral-event interviews By David C. McClelland

Выкладываю статью Дэвида Макклеланда Identifying competencies with behavioral-event interviews - базовая статья, в которой приводятся данные исследования, валидизирующие применение компетентностного подхода, основанного на использовании бихевиорального интервью. Или интервью на основе поведенческих примеров.

Инструментализация российского стандарта услуги центра оценки

Совсем недавно состоялась презентация российского стандарта услуги центра оценки: ведущие российские провайдеры услуги ассессмент центра договорились о стандарте. Среди участников процесса: SHL, Экопси, А.Г. Шмелев и т.п.. Среди экспертов - Базаров Т.Ю.
Целью проекта, цитирую, является:

"Целью проекта НК РЧК по созданию отраслевых стандартов профессиональных услуг, частью которого является создание стандарта Центра оценки, является повышение качества услуг, структуризация рынка, повышение стандартов преподавания, создание базы для введения системы сертификации и защита потребителей от услуг ненадлежащего качества."

Это, безусловно, важное событие рынка услуг ассессмент центра
Но на мой взгляд, не хватает инструментализации. *Хотя может быть она и заложена, но не прописана точно.
Что я понимаю под инструментализацией?
Пользование российским стандартом услуги центра оценки на сегодня является делом добровольным (хотя опять же не удивлюсь, если его введут в качестве дисциплины в ВУЗах), поэтому следовать ему или не следовать - дело каждого участника процесса. Пытаться директивно управлять внедрением стандарта - убить идею.
Поэтому мое предложение направлено на недирективное управление процессом, но на мой взгляд, внедрение моего предложение будет способствовать повышению качеству услуги.
Я предлагаю публиковать данные центров оценки компаниями, следующими стандарту услуги центра оценки.
Публикация не должна разглашать сведений о компании, где проводился ассессмент центр, но должна включать следующую информацию:

• компания / провайдер;
• ассессоры / специалисты, проводившие процедуру оценки;
• модели компетенций / компетенции;
• процедуры оценки / ассессмента;
• обезличенная информация о оцениваемых (пол, возраст, опыт работы, позиции и т.п..).

Публикация этой информации позволит независимым экспертам верифицировать данные оценки / ассессмент центров, контролировать качество проведения ассессмент центров, обеспечить прозрачность процедур и т.п...
Если хотите, это идея - OpenData Assessment Center in Russia
Предложение пока до конца не оформлено, готов его обсуждать и  делать дополнительные предложения.

Совет по валидизации внутреннего ассессмент-центра

Пост из серии инструментов аналитики HR. Пост не претендует на полноту описания методологии валидизации ассессмент-центра, но лишь предложение по одному из инструментов валидизации ассессмент центра.
Под валидностью я понимаю в первую очередь прогностическую валидность, а под валидизацией понимаю выявление способности предсказывать уровень исполнения деятельности на основе результатов ассессмент – центра.
Для валидизации данные должны быть оформлены в таком виде таблицы файла excel,

сотрудники	компетенция 1	компетенция 2	компетенция 3	KPI
иванов
петров
сидоров
пупкин
васькин
петькин

где в строках – сотрудники, в колонках результаты оценки по компетенциям и KPI, а в ячейках данные. Далее мы проводим статистический анализ (какой – приходите на семинар Аналитика для HR, чтобы овладеть инструментами) и выявляем, насколько по результатам ассессмент центра мы можем предсказывать успешность сотрудника, и какие компетенции имеют большую способность предсказывать. См например Кейс "Связь оценки по компетенциям и результатов деятельности"

О функционале специалиста по оценке персонала

Пост про методологию. И краткий. С заходом на инструменты, но в связи с отсутствием времени очень тезисно. Как зарубка на память, чтобы потом прорабоатть инстументально.
Цитирую себя с фейсбука

Мне кажется, проблема спецов по оценке персонала в зацикленности на процедурах оценки
Это мешает взглянуть шире на сам процесс сбора информации и интерпретации