Профориентация: можно ли на основе тестов рекомендовать выбор профессии

Строго говоря, пост некорректен: чтобы прогнозировать выбор профессии, мы должны были бы протестировать детей / вьюношей, потом отследить их судьбу, выбор профессии, в идеале успешность и/или удовлетворенность профессией, а потом уже представлять прогнозы.
Но я это оставляю сделать ученым, это их хлеб, а я покажу, как я могу прогнозировать выбор профессии на основе результатов нашего исследования. В нашем случае некорректность заключается в том, что люди показывают результаты тестов сейчас, и эти результаты могли сформироваться в том числе под воздействием профессии / профессиональной деформации.
Также укажу, что данный пост вырос их поста Сравнение психотипов HR, IT и продажников. Я там провел кластерный анализ результатов тестов, а потом сметчил результаты кластерного анализа и профессии и посмотрел, насколько "психотипы" / кластеры могут разделать респондентов по профессиям. Получилось выше плинтуса, что вдохновило меня на дальнейшие изыскания.
И хочу спросить создателей тестов для конкурса Лидеры России (См Вопросу к тесту управленческого потенциала Экопси: а вы можете подобными исследованиями похвастаться?:)

Идея

Очень простая: у нас респонденты заполняют анкету об одном из своих  мест работы, где указывают профессию. Задача: предсказать профессию респондента на основе тестов. Я взял данные теста Биг5:

1. Интроверсия - экстраверсия;                                                                                       
2. Независимость - согласие;                                                                                        
3. Импульсивность - самоконтроль;  
4. Тревожность- стабильность;                                                                                       
5. Консерватизм- новаторство. 

Взял также результаты теста КТО (тест способностей: общий, числовой, вербальный и т.п. интеллекты) и пол.
Кроме того, я в качестве дополнительной гипотезы взял "психотип" респондента, полученный на основе кластеризации - см. Сравнение психотипов HR, IT и продажников - просто было интересно посмотреть, насколько "психотип" в структуре переменных уравнения будет важнее / не важнее других переменных.

Данные 

1. HR: ровно 1000 HR специалистов прошли тесты;
2. IT: 118 айти специалистов прошли Big5;
3. Продажи: 84 продажника.

Результаты 

ROC AUC

Результаты интуитивно понятные: лучше всего машина прогнозирует IT специалистов: они мальчики, более умные в общей массе. Хуже всего машина прогнозирует продажников, опять же, видимо, потому, что продажами занимаются почти все, найти устойчивые качества очень сложно.
* Не умеете читать такое диаграммы? На моем семинаре BigData для HR-директоров мы учимся это делать

Confusion matrix

В колонках у нас прогнозные значения уравнения, в строках - фактические, в колонках - % от суммы по колонке.
По русски: 88 обозначает, что если мы на нового респондента укажем, что он HR, точность нашего прогноза будет равна 88 %.
Много ли это? Базовая точность у нас 81 % (всего в исследовании поучаствовало 1202 респондента, из них HR - 1 000, т.е. HR составляют 81 %).
Таким образом мы улучшили прогноз на 7 % = 88 - 81.
IT специалисты составляют 9 % в выборке исследования = 118 / 1202, а мы по дефолту (разделяющее значение 0, 5) получили 57 %. Т.е. мы почти на 50 % улучшили прогноз.
По продажникам сами можете посчитать.
Краткий вывод: тесты позволяют прогнозировать профессию.
Важность факторов

Обратите внимание:

• пол практически незначим, и это замечательно
• психотип - кластер - дает очень низкий вклад в общий прогноз. 

Общий балл по КТО

Ожидаемо IT выше других профессий, но HR неожиданно выше Продажников)))

КОНСЕРВАТИЗМ - НОВАТОРСТВО

А вот здесь сейлзы надели желтую майку лидеров.

ИМПУЛЬСИВНОСТЬ - САМОКОНТРОЛЬ

ИНТРОВЕРСИЯ - ЭКСТРАВЕРСИЯ

IT специалисты "неожиданно" более интраверты, чем остальные:)

Выводы

Если мы допускаем, что интеллект и качества человека по Большей пятерке не сильно изменяемы во времени, то рекомендации профессии на основе тестов могут иметь место.
При этом, подобное исследование должно быть более широким, включать дополнительные процедуры, возможно, больше параметров.
А такоже обращаюсь к специалистам, которые создавали тесты для конкурса Лидеры России: а вы можете подобными исследованиями похвастаться?:)