Прогноз успешности руководителей Компании по тестам Кеттела и Адизеса

Полтора года назад я приступил к работе в отделе обучения и развития довольно крупной Компании, которая занимается оптовой и розничной торговлей автозапчастями для легковых и грузовых автомомбилей. 

В момент моего прихода в Компанию для оценки управленческого потенциала руководителей использовались 2 теста – опросник Кеттела и тест определения стиля управления Адизеса. Тест Кеттела имеет 17 шкал:

kMD – самооценка низкая/высокая

kA – закнутость/общительность

kB – интеллект

kC – эмоциональная нестабильность/стабильность

kE – подчиненность/доминантность

kF – сдержанность/экспрессивность

kG – нормативность поведения низкая/высокая

kH – робость/смелость

kI – жесткость/чувствительность

kL – доверчивость/подозрительность

kM – практичность/мечтательность

kN – прямолинейность/дипломатичность

kO – спокойствие/тревожность

kQ1 – консерватизм/радикализм

kQ2 – конформизм/нонконформизм

kQ3 – самоконтроль низкий/высокий

kQ4 – расслабленность/напряженность

Тест стиля управления Адизеса соответственно – 4 шкалы:

P – производитель результата

A – администратор

E – предприниматель

I – интегратор

Однако, не было как таковых критериев и границ принятия решений. В целом считалось, что:

•      Чем выше оценка по каждой шкале Кеттела, тем лучше для руководителя
•      Ну и естественно, по стилям Адизеса нужна была доминирующая выраженность стилей как минимум Администратора и Интегратора.  Если был ярко выражен стиль Предпринимателя – вообще здорово.

Исходя из этого я предпринял попытку установить границы принятия решений по итогам тестирования. То есть задача была - определить шкалы опросника Кеттела и теста Адизеса, которые определяют фактор успешности руководителей.

Начали мы с того, что составили список руководителей среднего и высшего звена Компании, затем группа экспертов (в составе был собственник) совместно определили статус каждого руководителя:

•      успешный
•      сложно сказать в данный момент
•      не совсем успешный

Таким образом мы получили выборку из 27 руководителей со статусами «успешный» (при расчетах кодировался «1») и  «не совсем успешный» (при расчетах кодировался «0»). Не слишком большая выборка, конечно, но все же. Руководители со статусом «сложно сказать в данный момент» в анализе не использовались.

После этого указанные выше 27 руководителей заполнили опросник Кеттела и тест стиля управления Адизеса. 20 наблюдений я сразу отнес к тренинговой выборке, а 7 – в тестовую для проверки точности.

Анализ

Соотношение «успешных» и «не совсем успешных» руководителей в тренинговой выборке было следующим:

> table(df$status)

 0  1

 8 12

Начал я с расчета обычного критерия Вилкоксона для определения шкал тестов, дающих значимые различия между 2 группами руководителей. Таких шкал оказалось 6.

                                    

                                   Подчиненность/доминантность

      

              

              Робость/смелость

                        

                

                 

                 Консерватизм/радикализм

                       

                     

            

             
             Производитель результата (P) по Адизесу.

                  

   

И здесь нет ничего странного. Руководитель успешен, если он в меньшей степени сам выполняет работу. Причем у успешных руководителей этот показатель не более 75% (максимальное значение)

            

           
            
             Предприниматель (E) по Адизесу.

                 

    



       
        Тоже все логично и понятно.

   

        Интегратор (I) по тесту Адизеса. 

                

Вот здесь я оказался немного удивлен! Оказывается,  у успешных руководителей качество интеграции развито значимо меньше!

     Далее я решил переходить к построению модели и решил начать с обычной логистической регрессии. В регрессию в качестве предикторов я включил только 6 шкал, по которым были значимые различия между руководителями. Однако алгоритм не сходился, так как практически все шкалы коррелировали друг с другом. Я построил корреляционную матрицу и вот что получилось:

Я решил объединить шкалы, которые сильно коррелировали друг с другом тем более, что они означали близкие по смыслу качества:

1. Подчиненность/доминантность, робость/смелость и консерватизм/радикализм я объединил в один предиктор и решил назвать, допустим «доминирование»

2. Шкала P теста Адизеса имела сильную обратную корреляцию со шкалой E. Я вычел из значений шкалы E значения шкалы P. Это своего рода превосходство качества Предпринимателя у руководителя над качеством самостоятельного выполнения работы (EP).

После этого я снова запустил логистическую регрессию, но алгоритм снова не сходился. Если строить логистическую регрессию с каждым предиктором отдельно, то точность на тестовой выборке такая:

- Предиктор «доминирование» - 29%

- предиктор EP – алгоритм снова не сходится

- предиктор I – 71%

 Далее я решил попробовать метод desicion tree. Выполнял с кросс-валидацией из пакета caret. В начале я строил модель на полном наборе тренинговых наблюдений, то есть без объединения коррелирующих друг с другом шкал. Получилось такое дерево решений:

То есть одна шкала позволяет прогнозировать – Производитель результата по Адизесу. Точность на тестовой выборке – 57%.

Далее я сделал дерево решений с кросс-валидацией, но по 3 объединенным шкалам: Доминирование, EP, Интегратор. Итоговое дерево получилось таким:

В дереве также один фактор – EP (разница в значении шкалы Предприниматель и шкалы Производитель результата). Только теперь точность на тестовой выборке – 86%.

Настала очередь экстремального бустинга – пакет xgboost. Здесь я также вначале строил модель на полном наборе тренинговых наблюдений, то есть без объединения коррелирующих друг с другом шкал. В итоге важность факторов вот такая:

И точность на тестовой выборке – 57%. Получили такой же результат точности как и в модели desicion tree на полном наборе данных.

А далее я построил модель по 3 объединенным шкалам: Доминирование, EP, Интегратор. Теперь диаграмма важности факторов получилась вот такая:

                     

И точность на тестовой выборке – 100%.

Итоги:

Экстремальный бустинг показал самый точный результат.

Имея 21 шкалу, значения которых сильно коррелировали друг с другом, мы получили приемлемый результат объединив близкие по смыслу шкалы. В итоге на успешность руководителей влияют 2 фактора:

1.     Превосходство качества Предпринимателя у руководителя над качеством самостоятельного выполнения работы.

2.     Качество, объединяющее доминантность, смелость и радикализм