Прогноз отбора в кадровый резерв и назначения на должность на основе данных. Наш ответ Google

Показываю пример анализа / выявления критериев отбора в кадровый резерв и назначения на руководящую должность на основе данных. Компанию не называю, некоторые детали опускаю. Переменные следующие:

• Пол кандидата;
• Возраст кандидата;
• Статус кандидата в кадровый резерв: Внешний / Внутренний;
• Оценки ассессмент центра (среди компетенций: эффективная коммуникация, ориентация на достижение, организаторские способности и т.п..). Трехбальная система оценки;
• Результаты интеллектуального теста (5 шкал, среди которых вербальный, числовой интеллект, тест на логику и т.п.);
• Результаты личностного опросника.

Управляемые переменные

• Включен / не включен в кадровый резерв;
• Назначен в последующем на руководящую должность / не назначен.

Всего 178 наблюдений. В этом вопросе у нас есть опыт Google - см Google нашла формулу продвижения по службе, которая для построения формулы продвижения по службе логистическую регрессию. А мы со своей стороны дадим свой ответ google.

Задача

В чем собственно задача. Компания тестировала специалистов кучей разных способов, а мы хотим проверить, какие из данных способов были действительно значимы и влияли на результат.

Факторы отбора в кадровый резерв

Начнем с первого. Всего процедуру прошло 178, из них назначены в кадровый резерв 57 или 32 % вошло в кадровый резерв. 

Значимые факторы отбора (в порядке убывания значимости):

• Упражнение ассессмент – центра «Эффективная коммуникация»;
• Статус кандидата;
• Шкала интеллектуального теста на способности к логике;
• Упражнение ассессмент – центра «Организаторские способности» (упражнение на управление людьми).

Напоминаю, что официально в данной компании складывали балы и принимали решение на основе неких обобщенных показателей, но реально за этим стоит такая картина.

Не знаю, декларировали ли в данной компании равенство кандидатов (внешних и внутренних) перед кадровым резервом, но внутренние резервисты явно выбирались значимо чаще. Удивительно, что среди значимых факторов есть тест на логику – значит, в этой компании не все так плохо. Правда, руководители компании были удивлены, что именно эта шкала была значимой, поскольку они сами полагали, что вербальный интеллект ими учитывается больше, чем тест на логику.

И ничего удивительного с личностным тестом: там ничего даже близко не показало связей.

Полученная точность модели – 77 %. Для знатоков статистики напомню, что у нас базовая точность модели 68 % (см. выше, у нас 57 кандидатов прошли в кадровый резерв из 178, т.е. 32 %, а по другому это 68 %. Т.е. если мы ткнули бы в любого попавшегося кандидата в кадровый резерв, то с 68 % точностью мы могли бы сказать, что он не попадет в него), и, значит, наша 77 % точность модели добавляет прогнозной точности.

Для примера западный кейс, какая там бывает прогнозная точность Кейс по оценке эффективности подбораи адаптации персонала

Кстати говоря, упражнение ассессмент – центра «Эффективная коммуникация» обладало очень высокой прогностичной ценностью: если кандидат получал высший бал по этому упражнению, то он с 93 % вероятностью попадал в кадровый резерв. 

И обратите внимание на одну деталь: это упражнение было первым в ассессмент центре, помните про первые несколько минут знакомства? За какое время у нас складывается впечатление о новом человеке? Не напоминает ситуация данной компании это самое первое впечатление?)

Назначение на должность

Еще более интересно было бы узнать, а есть ли значимые факторы при назначении на должность. Т.е. мы с вами отобрали людей в кадровый резерв, теперь кого-то из них могут назначить на должность, а кого то нет.

Задача в том, чтобы попробовать спрогнозировать назначение на должность на этапе отбора в кадровый резерв.

Напомню, у нас 57 резервистов. Из них в итоге назначено на должность 34 кандидата или 60 %.

Картина оказалась маслом.

Из всех факторов значимым был только фактор Статус кандидата.

Эта картина значит следующее: если ты «свой», т.е. внутренний кандидат, то вероятность быть назначенным на должность равна 72 %, если ты «чужой», т.е. внешний, то вероятность быть не назначенным равна 73 %.

Общая точность модели равна 70 %, т.е. мы с такой точностью можем прогнозировать назначение на должность резервиста.

Резюме

Мне вспомнился фильм «Человек,который изменил все». Команда главного героя стабильно попадала в финал лиги – в кубковую серию, но выиграть их никак не могла. Аналитики делают заключение: модель команды рассчитана только на попадание в финал, а на выигрыш финала не рассчитана, здесь нужны другие качества.

Так и в нашем случае: попасть в кадровый резерв нужны одни качества, а быть назнченным на должность – немного другие. 
В нашем случае рискну дать свою интерпретацию: в кадровый резерв берут на основе первого впечатления (упражнение "эффективная коммуникация"), а на должность назначают уже своих.
Круто?)