Анализ прогностичной ценности теста в подборе руководителей

Кейс от одного моего бывшего клиента. Немного подзадолбала меня эта задачка, поскольку я уже питсоттыщраз показал, как это решается, а меня не слышат. А я, к сожалению, не умею говорить то, что он меня хотят услышать, а говорю то, что мне цифры показывают.

Задача

есть результаты тестирования руководителей. Задача - выявить возможности подбора руководителей на основе этого теста.
В качестве output или зависимой переменной берем выполнение КПЭ. Провайдер говорит, что тест рассчитан на другое, он рассчитан на карьерный рост и потенциал развития. Я попросил сказать, а что нам выбрать в качестве зависимой переменной, ответа так и не получил. В итоге остановились на КПЭ. Логика у меня, тем не менее, простая: если показатели по тесту позволят прогнозировать результаты КПЭ, то мы и карьерный рост будем прогнозировать, ибо логично предположить, что выполнение КПЭ имеет влияние на карьерный рост (это не единственный фактор, но он должен присутствовать).

Решение

Итого у нас есть данные по % выполнения КПЭ, шкалам теста по 570 руководителям.
Проверяем распределение по шкалам.

На самом деле уже такое распределение должно насторожить исследователя: руководители явно отвечали с тенденцией давать высокие результаты по тесту. Вот сравните о шкалой другого теста по этим же руководителям

Я не силен в теории тестов, насколько понимаю, у нас как минимум две гипотезы по поводу "нашего" теста:

• Респонденты "считали" тест и отвечают социально желательно
• У нас респонденты отличаются от генеральной совокупности отвечающих на тест, поэтому у них тенденция к завышению.

По второй гипотезе сомнения потому, что второй тест дает нам почти идеальное нормальное распределение. В любом случае провайдеру стоило бы пересчитать нормы баллов под руководителей.
Но нам по большому счету по барабану, поскольку у нас простая задача: понять, можем ли мы по результатам теста прогнозировать эффективность руководителя и насколько хорошо можем это делать.
С прогнозами у нас все грустно: я использовал два алгоритма:

• xgboost 
• Ридж регрессию (кстати говоря, асимметрия и эксцесс шкал укладываются в 2 по модулю (Наследова А.Д.), поэтому можем использовать шкалы в линейных моделях.

Две картинки

Красная линия - fit - показывает, что связь практически нулевая. Линия параллельна горизонтальной линии, т.е. с возрастанием показателя теста показатели КПЭ у нас не растут.
Ну бох с ним, у нас целых несколько шкал.

На второй картинке общий результат:

• по оси X - прогнозные значения КПЭ на основе всех шкал теста;
• по оси Y - реальные значения выполнения КПЭ.

R^2 - 0, 003.
Все.
Какое управленческое решение должно последовать в этой ситуации? Очень простое: надо отказаться от использования данного теста, а провайдеру посоветовать поработать над тестом.

Понравился пост?

если Вы захотите выразить мне благодарность за интересный пост, вы можете перевести небольшую сумму мне на Яндекс кошелек (кликните по кнопке Перевести) 

или сделать перевод на карту Сбербанка,

Номер карты 676 280 38 921 538 46 57 

Или просто покликайте на директ рекламу ниже на странице - у вас это отнимет несколько секунд, а мне принесет немного денег.