.

Сделать репост в соц сети!

вторник, 12 мая 2015 г.

Кейс по оценке эффективности подбора и адаптации персонала



Если вы имеете fluent english и сечете в статистике, то вам лучше вот эту лекцию послушать Video: Data Science for Workforce Optimization: Reducing Employee Attrition. Я покажу несколько слайдов и поясню кейс.

Кейс по оценке эффективности подбора и адаптации персонала в финансовом колл-центре
Процесс входа в компаниюю состоял из этапов:

  1. Подбор
  2. 12 недель подготовки
  3. Экзамены "Series 7"
  4. Начало работы на телефоне

Диаграмма потерь сотрудников
Кейс по оценке эффективности подбора и адаптации персонала

Диаграмма показывает, что 20 % всех принятых сотрудников "отваливалась" во время обучения. 33 % не проходили барьер экзамена. И только меньше половины сотрудников доходили до собственно работы.
Аналитики поставили задачу выявлять на этапе подбора тех кандидатов, кто не сможет пройти барьер экзамена. Задача достаточно очевидна: основные потери на данном этапе: более 40 % тех, кто дошел до экзаменов, не проходит его. А это три месяца обучения, расходы составляют зарплату вновь принятых, расходы на обучение, зарплаты тренеров и т.п..
Поэтому было бы замечательно еще на этапе подбора выявлять кандидатов, которые не пройдут экзамен.
Вот здесь спикер не рассказал самое интересное: какие данные о кандидатах собирали, что измеряли конкретно. Обращаю ваше внимание, что данные выбирали не произвольно, измерения сопровождались статистическим анализом, т.е. данные "обкатывали" на уже работающих сотрудниках, валидизировали процедуры, а потом работали (см. например Прогноз успешности кандидатов на основе тестов).
Но даже то, что спикер показал - полезно и поучительно


Этот слайд более подробно я раскрою далее, а в этом месте я хочу одну "страшную" вещь раскрыть. Всего по результатам работы было просмотрено (Screen) 952 кандидата. 682 было отклонено по разным причинам. 173 подходили по оцениваемым параметрам, их приняли. 97 кандидатов не подходили по параметрам, но их все равно приняли!!! Для оценки качества модели. Т.е. по оцениваемым параметрам кандидаты не подходили, но их взяли, чтобы проверить, насколько они себя "оправдают" в работе.

Оценка качества модели

самый интересный слайд
Из 173 кандидатов, которые были приняты и соответствовали критериям приема экзамен успешно сдали 103 или 59 %. 60 из них не прошли или 35 % (не знаю, куда делись еще 10).
Из 97 "подопытных кроликов" 62 не сдали экзамен, что составляет 63 %, а вот 35 прошли планку.
Т.е. по другому говоря, 165 кандидата соответствовали правильно нашим ожиданиям. 165 - это 103 + 62.
А в оценке 95 кандидатов мы ошиблись (60+35).
Общая точность модели составила 63 % (103+62)/(103+62+60+35). 
 Напишите в комментах, насколько понятно, то, как я эти цифры сложил. Если есть вопросы, я отвечу в комментах.
Я обращаюсь здесь к коллегам HR, которым вешают лапшу консультанты про валидность их методик. 
Вот сравните: в данном кейсе работали очень серьезные аналитики, за 8 месяцев они накопали 63 % точность модели, работали непосредственно на месте, а к вам приходят консалтеры, которые рассказывают про 85 - 90 - 95 % точность своих методик. И вы покупаете этот бред. Любую методику нужно валидизировать на своих данных.
И точность модели кажется нам слабой - всего 63 %
Однако давайте посмотрим на это в деньгах.
Финансовые результаты или ROI от применения этой модели получился такой
Первоначальное положение, напомню, было таким: барьер экзамена проходили только 47 % кандидатов.
В нашей модели барьер проходят 59 % отобранных кандидатов
В деньгах это столько
Я думаю, понятно, из чего складываются 4 миллиона долларов.
Приходите на семинар по аналитике для HR в Москве 18-19 июня, если хотите научиться считать такое же для своей компании.
Или закажите услугу Прогноз успешности кандидатов на основе тестов

И Домашнее Задание

Про качество подбора персонала на основе интервью - вот здесь Ласло Бок - главный HR в Google - говорит про 86 % точность при подборе.
Как Вы думаете, почему такая разница: в нашем кейсе 63 %, а у Google - 86 %&

6 комментариев:

  1. Крутая статья! Спасибо Эдуард!
    Могу также поделиться своим опытом. В феврале-марте этого года провели валидизацию теста проф. знаний продавцов. До этого точность теста составляла 34%. После валидизации - 71%. Как получили 71% - на последней аттестации продавцов - 136 человек.
    Из них 60 продавцов были новички, а 76 опытные.
    Критерий успешного теста 90%.
    Из 60 новичков 56 написали менее 90%, а 4 новичка - более 90%.
    Из 76 опытных продавцов 36 написали менее 90%, а 40 человек - более 90%.
    Мне было интересно узнать, чем отличаются опытные продавцы, которые пишут профтетст более 90% и менее 90%.
    Значимые различия нашли по одному индикатору - мотивация к развитию. Измерялась по 4-балльной шкале.
    Средний балл этого индикатора у опытных продавцов, написавших тест менее 90% - 1,5.
    А тех, кто написал тест более 90% - средний балл мотивации к развитию 3,3

    ОтветитьУдалить
    Ответы
    1. присылайте файл с цифрами. сделаю кейс

      Удалить
  2. не понял про расчёт общей точности модели:
    (103+62)/(103+62+60+35)
    почему в числителе мы складываем тех кто успешно сдал
    экзамен с "кроликами" не сдавшими экзамен?

    ОтветитьУдалить
    Ответы
    1. хороший вопрос
      Логика такая
      Мы предсказали, что 173 кандидата сдадут экзамен, верно? Но из низ реально сдали экзамен 103 или 59 %
      И мы же предсказали, что 97 не сдадут. Из них НЕ сдало 62.
      поэтому мы просто "точности" складываем вместе: (103+62)/(173 + 97)

      понятней стало? честно? или еще раз?

      Удалить
  3. Понял, я тупанул.
    Упустил момент, что мы предсказали, что с "кроликами" наоборот получится, на то они и кролики.

    ОтветитьУдалить
  4. Лана канделин15 ноября 2015 г. в 11:53

    Хочу прокомментировать инфу от Максима: еще раз убеждаюсь в том, что наше личностное своеобразие, т.е. то, что заложено в нас природой плюс развиваемое нами самими ( наша мотивация к развитию)-это ключ к нашей эффективности.Опыт-хорошо, но хотим ли мы и дальше расти... А как дело обстоит с кандидатом без опыта 9 ваши 4 человека из 56), что их подвигло написать тест на 90 и выше %? Не та же ли мотивация к развитию или же это просто "попасть пальцем в небо?

    ОтветитьУдалить