.

Сделать репост в соц сети!

Показаны сообщения с ярлыком регрессия Кокса. Показать все сообщения
Показаны сообщения с ярлыком регрессия Кокса. Показать все сообщения

воскресенье, 3 декабря 2017 г.

Анализ дожития специалистов по продаже недвижимости


Анализ дожития специалистов по продаже недвижимости
(домашнее задание после семинара «HR-аналитика в R»)


Этот пост, возможно, несет не самую большую ценность с точки зрения результата.  Скорее,  мне хотелось бы замотивировать ту часть HR-сообщества, которая считает, что R это что-то, с помощью чего запускают ракеты в космос и им никогда этого не осилить (ну, и выполнить домашнее задание, конечно). По той же причине я сознательно не буду детально приводить код. Опытные им владеют и без меня,  остальным отдельные его части мало помогут: вам придется или начать изучать R и написать его самим…или съездить на семинар.  Я хочу показать логику работы и тот результат, который может получить даже такой махровый гуманитарий как я.

Анализ дожития (survival analysis) с помощью регрессии Кокса, на мой взгляд, является одним из наиболее понятных инструментов, рассматриваемых на семинаре. Кроме того, данные для этого исследования наверняка найдутся в любой компании.  Он позволяет выявить, какие факторы влияют на текучесть персонала в компании и спланировать шаги по её снижению.

Мне интересно было попробовать этот инструмент на реальных данных. Например, понять, что способствует удержанию сотрудников, принадлежащих к такой неоднозначной профессии, как специалист по продаже недвижимости.

Итак, на входе у меня были:
1.    Информация о специалистах по недвижимости одной крупной риэлторской компании за 2016-2017 год : 552 сотрудника, даты их приема и увольнения (для тех, кто уже покинул компанию),  пол, информация о наличии автомобиля.
2.    Готовый скрипт по анализу дожития, полученный на семинаре, который требовалось только адаптировать под мои данные.

Шаг 1. Готовим данные

Для работы с регрессией Кокса необходимо иметь точную цифру стажа работы сотрудника в компании в месяцах. R позволяет несколькими строчками кода добавить в наш набор данных новую переменную «Стаж», вычтя из даты увольнения дату приема сотрудника.  Для  еще работающих сотрудников  за дату увольнения мы принимаем дату выгрузки данных.

Кроме того, необходимо ввести новую переменную (например, назовем её «Увольнение»), показывающую, состоялось ли увольнение (в строчке напротив фамилии будет стоять «1»), или сотрудник еще работает (соответственно, «0»). R также позволяет нам сделать это одной строчкой кода.

Шаг 2.  А как вообще дела с текучестью?

Первым делом интересно узнать, а как в принципе обстоят дела с закрепляемостью (давайте ставить цели позитивно) специалистов по недвижимости в компании.

Регрессия Кокса и её визуализация в R позволяет нам построить вот такую шикарную картинку:

По оси X  - стаж работы сотрудника в месяцах.
По оси Y  - вероятность  сотрудника проработать (‘дожить’) до этого стажа.

Мы видим, что вероятность  доработать до одного года в компании составляет примерно 40%. Другими словами, из 100 принятых сотрудников 60 покинет компанию раньше этого срока.  

Средняя продолжительность работы специалиста (смотрим по вероятности  дожития 0,5) – примерно полгода. Пунктиром выделены границы ошибки, то есть, точнее будет сказать, что средняя продолжительность работы составляет примерно от 5 до 7,5 месяцев.

Для любителей точных цифр в R можно вывести вот такую статистику:


Выводы практически аналогичны графику: средняя продолжительность жизни специалиста – 5,94 месяца, точнее – от 5,1 до 7,7.

Это не удивительная картина, так как на специалиста по недвижимости не учат в вузах, и значительная часть сотрудников приходят "попробовать" профессию. Наша задача определить, у кого же дольше получится в ней задержаться.

Шаг 3. Анализируем конкретные факторы

Гипотеза первая. Я предположила, что дольше в компании задерживаются представители определенного пола. Не буду, уточнять, какого, но мы то, дамы, понимаем…

С помощью регрессии Кокса и последующей визуализации результатов получаем вот такую картинку:

Видим, что женщины в среднем «живут» в компании семь месяцев, мужчины – чуть больше пяти). Вроде бы «ура!» и девочки пьют шампанское, но давайте признаемся - графики находятся подозрительно близко.

Кроме красивых картинок, регрессия Кокса в R показывает нам, а действительно ли тот или иной фактор оказывает влияние на скорость увольнения.


В данном конкретном случае мы видим, что,  увы, сам по себе пол на дожитие не влияет (p > 0,05).

Ищем дальше.

Гипотеза вторая.  Вполне ожидаемо предположить, что без машины специалисту по работе с недвижимостью будет сложно, в независимости от пола. Но дамам, я уверена, сложнее в модной обуви на каблуках перемещаться от объекта к объекту.  Давайте посмотрим, как влияет на закрепляемость наличие или отсутствие автомобиля у специалистов обоих полов.

Получаем, что при таком раскладе значимы оба фактора: как пол, так и наличие авто (p < 0.05 у обоих факторов):


И, визуализировав полученный результат, видим:



…что женщины с машиной вырываются вперед и их средний срок работы  (напоминаю, смотрим по вероятности 0,5) составляет уже аж 8 месяцев (что на  треть выше среднего срока по компании , не говоря уже о мужчине без машины).

Но и тут я не стала бы открывать шампанское, празднуя торжество феминизма.

R также рассчитывает нам метрику качества нашей модели (Concordance), показывающую, а действительно ли нам хватит этих факторов, чтобы однозначно управлять текучестью.

В нашем случае мы получили вот такую характеристику качества модели:

Чуть выше 0.5 – это слабая модель. 
Нужно искать другие факторы, которые также влияют на показатель текучести.

Выводы, которые можно сделать уже сейчас:
- Вводить в качестве обязательного требования к специалистам по продаже недвижимости принадлежность к определенному полу и обязательное наличие авто  нерационально (и незаконно!)
- При прочих равных условиях при выборе из двух кандидатов можно учитывать наличие автомобиля. Про пол мы не будем во избежание обвинений в сексизме.

Бутылку шампанского я прячу до следующего поста в блоге. Сейчас мне хочется посмотреть, влияют ли на закрепляемость специалистов процессы, происходящие в  самой компании (адаптация, обучение, менеджемент). Но об этом - в следующем посте.

среда, 23 августа 2017 г.

Прогноз индивидуального дожития и тюнинг параметров регрессии Кокса в пакете mlr



Одна из проблем в анализе дожития заключалась в том, что не было четких алгоритмов тюнинга параметров модели. В разных пакетах типа CoxBoost есть варианты кросс валидации, определения числа итераций и т.п.. Но grid_search не было ни в одном из пакетов.
Теперь такая возможность существует в пакете mlr. Это пакет фреймворк типа caret, который является оберткой для алгоритмов машинного обучения. 
Я покажу, как тренируются параметры регресии Кокса в этом пакете. Регрессия Кокса важная HR в процессах управления текучестью персонала, карьерного роста, других процессах, где мы управляем ростом. 
В конкретном примере я опускаю некоторые детали тип препроцессинга и т.п., что сосредоточиться исключительно на тюнинге параметров и прогнозе кривой дожития.
А вы не забывайте кликать на дирет рекламу в качестве благодарности. Также добавлю, что это один из сюжетов Семинар-практикум "HR-Аналитика в R", Москва,16-17 ноября 2017 - я вас там буду этому учить. 

Датасет

Я не стал возиться со сложными датасетами, взял данные, предоставленные мне Максимом Андреенок. Данные включают в себя:
  1. стаж работы в компании, 
  2. событие - уволился на момент анализа или нет, 
  3. наличие наставника, 
  4. пол работник,
  5. пол руководителя.
Всего 427 строк данных. 

Код

поехали.Загружаем пакеты.
library(mlr)
library(survival)
library(pec)
Пропущу загрузку данных, сразу разбиваю на трейн и тест сет.

train = sample(nrow(data), 0.7 * nrow(data))
test = setdiff(seq_len(nrow(data)), train)
train.task = makeSurvTask(data = data[train, ], target = c("stag", "event"))
train.task
test.task = makeSurvTask(data = data[test, ], target = c("stag", "event"))
test.task
Задаем учителя

lrn = makeLearner("surv.coxph", id = "cph")
Перед тюнингом параметров давайте посмотрим, какие параметры вообще можно тренировать в регрессии Кокса.

getParamSet("surv.coxph")
                Type len      Def              Constr Req Tunable Trafo
ties        discrete   -    efron efron,breslow,exact   -    TRUE     -
singular.ok  logical   -     TRUE                   -   -    TRUE     -
eps          numeric   -    1e-09            0 to Inf   -    TRUE     -
toler.chol   numeric   - 1.82e-12            0 to Inf   -    TRUE     -
iter.max     integer   -       20            1 to Inf   -    TRUE     -
toler.inf    numeric   - 1.35e-06            0 to Inf   -    TRUE     -
outer.max    integer   -       10            1 to Inf   -    TRUE     -
model        logical   -    FALSE                   -   -   FALSE     -
x            logical   -    FALSE                   -   -   FALSE     -
y            logical   -     TRUE                   -   -   FALSE     -
Надеюсь, читатели сами разберутся, какие параметры будут тренировать они. Я беру вот такие параметры

surv_param = makeParamSet(
  makeDiscreteParam("ties",  values = c('efron','breslow','exact')),
  makeIntegerParam("iter.max", lower = 1, upper = 150),
  makeIntegerParam("outer.max", lower = 1, upper = 50)
)
rancontrol = makeTuneControlRandom(maxit = 10L)
set_cv = makeResampleDesc("RepCV", folds = 5L, reps = 5L)
Сразу туда же кросс валидацию на пяти фолдах. И самое любимое

surv_tune = tuneParams(learner = lrn, resampling = set_cv, task = train.task, 
                        par.set = surv_param, control = rancontrol)
Не указываю меру качества модели, по умолчанию cindex - конкорданс.
$ties
[1] "breslow"

$iter.max
[1] 139

$outer.max
[1] 15
Заметьте, по дефолту в регрессии Кокса стоит метод efron, а машинка нам показывает, что breslow получшее будет.
surv_tune$y
cindex.test.mean 
        0.752014 
0.752014 - это про наше качество модели. Рекомендую Вам отдельно прочитать, что обозначает параметр C-index, скажу только, что он аналогичен площади под кривой и находится в пределах от 0, 5 (совсем плохо) и 1 (нереально хорошо). В нашем случае даже 0, 75 кажется нереально хорошо, потому что всего три переменные. Делаем модель
surv.tree = setHyperPars(lrn, par.vals = surv_tune$x)
surva = mlr::train(surv.tree, test.task)
getLearnerModel(surva)
model = predict(surva, test.task)
model
И смотрим, что нам говорят тестовые данные

rcorr.cens(-model$data$response, 
           Surv(data[test, ]$stag, data[test, ]$event))["C Index"]
 C Index 
0.6898021 
Можно еще такой метод проверки сделать - на пакете risksetROC и тестовых данных
w.ROC = risksetROC(Stime = data[test, ]$stag,  
                   status = data[test, ]$event, 
                   marker = model$data$response, 
                   predict.time = median(data[test, ]$stag), 
                   method = "Cox", 
                   main = paste("OOB Survival ROC Curve at t=", 
                                median(model$data$truth.time)), 
                   lwd = 3, 
                   col = "red" )

w.ROC$AUC
[1] 0.6648762
Хуже, но тоже неплохо. w.ROC вам нарисует диаграмму под кривой, я не буду ее сюда помещать.

Согласитесь, неплохо для тестовых данных - 0, 69. А почему не 0, 75, как на трейне?

getLearnerModel(surva)
Call:
survival::coxph(formula = f, data = data, ties = "breslow", iter.max = 139L, 
    outer.max = 15L)

             coef exp(coef) se(coef)     z      p
X         0.00234   1.00235  0.00133  1.76 0.0778
coach    -0.95264   0.38572  0.33482 -2.85 0.0044
matchж.м -0.42199   0.65574  0.77277 -0.55 0.5850
matchм.ж -0.03979   0.96099  0.40376 -0.10 0.9215
matchм.м  0.33148   1.39303  0.41926  0.79 0.4292
А потому что у нас значим только один фактор - наличие наставника, остальные факторы - шум. Надо их отбросить, чтобы получить нормальную модель.
И у нас осталась, еще одна задача - самая главная наша задача - прогноз индивидуального риска или дожития. Иначе на практике наши упражнения будут теорией. И вот тут фишка заключается в том, что пакет mlr на сегодня не дает возможности предсказывать индивидуальные риски и дожития (информация в github авторов пакета). На этот счет есть разные подходы, но все они за пределами mlr. Вот как например дают прогноз через пакет pec
# train.coxph:
mod = coxph(Surv(time, status) ~ ., data = data[train, ])

# predict.coxph:
probs = predictSurvProb(mod, newdata = data[test, ], times = data[test, "time"])
timepoints = seq(0, max(data$time), length.out = 100L)
probs = predictSurvProb(mod, newdata = data[test, ], times = timepoints)

pec(probs, Surv(time, status) ~ 1, data = data[test,], exact = F,
    exactness = 99L, maxtime = max(timepoints))
probs
     [,1]      [,2]      [,3]      [,4]      [,5]      [,6]      [,7]      [,8]       [,9]      [,10]
3      1 0.9989732 0.9979358 0.9979358 0.9968463 0.9968463 0.9956966 0.9933632 0.98563169 0.98563169
9      1 0.9989948 0.9979792 0.9979792 0.9969126 0.9969126 0.9957871 0.9935025 0.98593217 0.98593217

Я даю в обобщенном виде, понятно, что в mod вы должны включать полученные параметры (покажу ниже), timepoints я выбрал произвольно, вам рекомендую выбирать по количеству единиц измерения вашего времени. В нашем случае это месяцы, их и можно выбрать.
Я же делаю так

w = coxph(Surv(stag, event) ~ . , data = data[train, ], ties=c("breslow"), iter.max = 139, outer.max = 15)
Я подставляю полученные параметры в регрессию Кокса (ну как будто мы убрали не значимые параметры и заново натренировали).
И тут есть одна важная тонкость: в этой модели w, коэффициенты другие, чем в тренированной.
w$coefficients
          X       coach    matchж.м    matchм.ж    matchм.м 
 0.00382257 -1.74394635  0.58288003 -0.31481756  0.04525168 

Наличие наставника в этой модели идет с коэффициентом -1, 7439, а в той, что тренировали - -0.95264. Не очень приятная разница. Думаю, согласитесь, что второй коэффициент, прошедший сетку и кросс валидацию, является более точным, поэтому нам нужно использовать его, вместо -1, 7439. Мы это исправляем так
w$coefficients[2] = -0.95264
Проверяем
X       coach    matchж.м    matchм.ж    matchм.м 
 0.00382257 -0.95264000  0.58288003 -0.31481756  0.04525168 

Все зашибись. Далее из тест сета я выбираю произвольно троих чуваков и смотрю, как они будут себя вести

newdude = data[test, ][c(4,5,12), ]
e = survfit(w, newdata=newdude)
quantile(e)
Прогноз индивидуального дожития и тюнинг параметров регрессии Кокса в пакете mlr

По оси X у нас стаж работы в компании, по оси Y - вероятность дожития. Обратите внимание особо, что крайне нижнее значение по оси Y равно 0, 4. И совершенно очевидно, что у Петрова наставника не было (ну или в нашем случае мы прогнозируем, что будет с Петровым, если ему не назначить наставника), а у Иванова с Сидоровым они есть. Но даже для Петрова медиана дожития, или если пользоваться HR термином - средний срок жизни в компании - в районе пяти лет. Ну что поделать, такие суровые белорусские реалии.
Это все, что я хотел показать. Понятно, что владея этим инструментом, вы сможете строить более продвинутые модели. 

Понравился пост? 

и Вы захотите выразить мне благодарность, просто покликайте на директ рекламу ниже на странице - у вас это отнимет несколько секунд, а мне принесет немного денег.
На этом все, читайте нас в фейсбуке 

суббота, 8 апреля 2017 г.

Прогноз текучести персонала на основе анализа дожития



Жанр поста - гротескный мульфильм о текучести персонала.
Кейс на основе данных нашего исследования факторов текучести персонала. К кейсу можно по разному относиться, я бы практикам рекомендовал смотреть на него как на практику создания скоринговых карт текучести персонала: как на основе входных данных о кандидатах можно прогнозировать текучесть. Фишка здесь в использовании регрессии Кокса, которая не отвечает на вопросы:
  1. уволится / не уволится кандидат;
  2. проработает более полугода или нет;
  3. как долго проработает.
Регрессия Кокса отвечает на вопрос о рисках дожития или вероятности дожития или увольнения. И этот показатель как бы не совсем физически понятен. Что нам делать, если машинка говорит, что у такого то кандидата вот такие риски текучести, а у этого - вот такие? Задумка поста как раз в том и состоит, чтобы показать, как мы практически можем использовать регрессию Кокса при приеме в виде скоринговой карты.
Показываю схематически, как это работает.
Какие данные нужны:
  • дата приема
  • дата увольнения (если работник еще работает, стоит пусто);
  • Любая информация о работнике, какую можно собрать.

Шаг 1. Даем общую картинку текучести персонала по компании

Прогноз текучести персонала на основе анализа дожития
Это общая картина текучести персонала. Где по оси X - стаж работы, ось Y - вероятность дожития.
Как читать такой тип диаграммы - Анализ и визуализация дожития: чем HR похож на медиков.
Ок, это некая средняя по больнице выбытия работников. И некий средний работник данной компании имеет 50-ти % вероятность дожить до 42 месяцев (3, 5 года). Или, если вам так удобней, средний срок жизни работника в компании - 3,5 года.

Шаг 2. Первый драйвер 

Я провел анализ с использованием регрессии Кокса, где Y - время дожития, а предикторы - шкалы теста Big5 и КТО (и мы, конечно же, говорим про волюнтарную текучесть - когда уходят по собственному желанию).
Выявили, что шкала Импульсивности - Самоконтроля позволяет прогнозировать волюнтарную текучесть.
Call:
coxph(formula = Surv(stag, event) ~ Ш8...ИМПУЛЬСИВНОСТЬ...САМОКОНТРОЛЬ.,
    data = q)

  n= 998, number of events= 555

                                                                                     coef exp(coef) se(coef)      z Pr(>|z|)
Ш8...ИМПУЛЬСИВНОСТЬ...САМОКОНТРОЛЬ. -0.06453   0.93751  0.02084 -3.097  0.00196 **
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

                                    exp(coef) exp(-coef) lower .95 upper .95
Ш8...ИМПУЛЬСИВНОСТЬ...САМОКОНТРОЛЬ.    0.9375      1.067       0.9    0.9766

Concordance= 0.535  (se = 0.014 )
Rsquare= 0.01   (max possible= 0.999 )
Likelihood ratio test= 9.61  on 1 df,   p=0.00194
Wald test            = 9.59  on 1 df,   p=0.001958
Score (logrank) test = 9.61  on 1 df,   p=0.001938

Модель слабая, Concordance= 0.535 - как бы ни о чем совсем. Но скажите спасибо импульсивности, что она связана с текучестью. Это уже здорово!
Что нам дает это знание? Представим, что к нам пришли два чувака, у одного по шкале импульсивность - самоконтроль 3 балла (высокая импульсивность), у другого 9 (низкая импульсивность).
Давайте визуализируем различия в их прогнозе текучести.
Прогноз текучести персонала на основе анализа дожития
Пыпыц.... они идут практически рядышком... Читать эту диаграмму нужно так:
Первый с 50-ти % вероятностью доработает до 36 месяце или трех лет, а в второй с той же 50-ти % вероятностью доработает до 54 месяцев или 4,5 лет. В цифрах не так уж мало. Разница практически в 1,5 раза. И если у нас нет проблем с другими факторами (а мы, конечно, должны еще прогнозировать их эффективность), то возьмем второго.

Шаг 3. Добавляем драйверы

Но мы же не только тест с ними проводили, мы другую информацию собирали. После моих исследований теперь все компании собирают информацию о том, через какой источник трафика к нам пришел кандидат. Итак, у нас есть информация о том, через какой источник трафика пришел кандидат в компанию. Я условно поделил все источники на 'good' и 'bad'. К плохим отошли все, что связаны с джоб сайтами - они дают самых текучих кандидатов. По нашим данным (не претендую на репрезентативность выборки, вы у себя в компании сами проверите, гарантирую только то, что пришедшие с доб сайтов будут течь быстрее) пришедшие с доб сайтов имеют риски текучести в 1,3 раза больше, чем пришедшие со всех других источников вместе взятых.
Давайте мы будем рисовать гротеск - усугубим, так сказать, ситуацию. Тот чувак, который с высокой импульсивностью у нас придет через джоб сайт, в тот, что с низкой импульсивностью, у нас будет рефералом.
Прогноз текучести персонала на основе анализа дожития
Пыпыц....  Найдите 10 отличий с предыдущей картинкой....
Первый чувак теперь имеет 50 % вероятности доработать до 30 месяцев (было 36 при одной импульсивности), а второй чувак - реферал с низкой импульсивностью - ту же вероятность для 71 месяца.
Мы получаем риски для одного и для второго более чем в два раза.

Шаг 3. Плюс подразделение

А кроме того, наш анализ показал, что не все йогурты подразделения в компании одинаково полезны. И по степени риска я их опять поделил на хорошие и плохие. И первого чувака мы обязательно по сюжету нашего гротескного романа отправим в плохое подразделение с точки зрения йогурта текучести персонала, а второго в хорошее.
Прогноз текучести персонала на основе анализа дожития
И снова Пыпыц. Невооруженным взглядом видно, что через пять лет жизни в компании чуваки с высокой импульсивности, пришедшие через джоб сайт в плохие подразделения практический вымрут, а вот чуваки с высоким самообладанием, пришедшие рефералами в хорошие подразделения через пять лет еще не используют 50 % вероятность оттока.
Машина нам скажет точнее, и мы повторим, первый чувак имеет 50 % вероятность уйти в первые 17 месяцев работы (изначально было 36), а второй в 80 (было 54).

Шаг 4. Добьем наставником.

И в нашей компании есть избирательная система наставничества, которая также влияет на текучесть. Вы уже знаете, кому наствник достанется, а кому нет.
Прогноз текучести персонала на основе анализа дожития
Отсутствие наставника окончательно добило нашего первого чувака, и он с 50 % вероятностью покинет нашу компанию в течение первого года работы в нашей компании, и практически со 100 % вероятностью уйдет из компании в три года.
Второй же чувак, через три года, когда первый уже будет работать в другом месте (опять через джоб сайт), будет иметь 75 % вероятность остаться работать в нашей компании.

Практические выводы

Модель при всех ухищрениях все равно остается не очень хорошей - Concordance= 0.62. Она требует кросс валидации. И т.д. И т.п..
Но в целом, на основе даже вот таких факторов мы можем выстроить скоринговую модель отбора. И если мы не можем не взять чувака с высокой импульсивностью, пришедшего джобсайта, то как минимум, мы можем послать его в "хорошее" подразделение и/или дать ему наставника. Либо, как вариант, послать чувака с высоким самоконтролем - реферала в "плохое" подразделение или сэкономить на наставнике, если наши ресурсы ограничены.
Это уже управленческая практика. Но в любом случае, мы по истечении определенного срока, когда начали пользоваться скоринговой картой, должны проверять, что нам дала наша политика подбора - начинаем заново с шага №1.
Удачи вам во внедрении этого инструмента.




На этом все, читайте нас в телеграмме и вконтакте