Открытый ответ Юрию Тукачеву к дискуссии по критике компетентностного подхода

Посыл ответа.
Шмелев А.Г дал ссылку на мой пост О валидности (точнее, невалидности) центров оценки в своем форуме.

На сегодня в ветке только один содержательный отзыв от Юрия Тукачева. Скрин во избежание затирания текста.

Ну и собственно цитата Юрия.

А где по ссылке критический анализ? Увы, я его не увидел. Там есть какие выкладки, манипуляции с цифрами, объединение в одну категорию QS и MS и т.п.
С другой стороны, в стандарте явно указано на необходимость валидизации ЦО. А утверждать, что валидность ЦО под вопросом, так как есть всего три русскоязычных исследования, это как-то не очень корректно. Критик делает упор на критериальную валидность, но содержательная и конструктная просто игнорируется. Это критика не валидности ЦО, а критика практики применения ЦО, когда авторы ЦО в конкретной организации совсем не валидизируют ЦО, ссылаясь на аргумент "валидность ЦО не подлежит сомнению". Но ведь стандарт ЦО именно и был разработн как руководство к действию, к тому как правильно.

Мой ответ в равной мере относится и к г-ну Потапкину, который "полностью согласен с Юрием" - надеюсь, что данный г-н в равной мере воспримет ответственность за слова Юрия и не просто даст общий комментарий, а продемонстрирует знание аналитики.

Ответ Юрию Тукачеву

Уважаемый Юрий! Попробую ответить на ваш комментарий, хотя уверен, что реакции от вас я не дождусь. И это очень печально. Я уже обращался к Вам в своем посте Сравнение идеального и реального профилей руководителей: вопросы по инструменту, но Вы откровенно проигнорировали мой пост, объяснив его моей личной неприязнью к Вам.
Это не так, уверяю Вас. Мне кажется, что открытая дискуссия развивает рынок, делает его конкурентным, и я грешным делом считал, что Вы к такой дискуссии открыты. Извините, ошибался.
Теперь по сути вашего коммента.
Вы не увидели критического анализа, поэтому вынужден Вам указать на критический анализ.

Критика, если верить Википедии это выявление ошибок.
И я эти ошибки выявил в кейсах на валидизацию ассессмент центров.
Евгений Лурье указывает про кейс Сидоренко: "Центр оценки правильно предсказывал успешность прохождения стажировки в 77.5% случаев"

Вот собственно картинка результатов ассессмент центра.

Юрий, поскольку Вы не смогли ничего понять, поясняю: эти результаты по сути являются инструментом классификации в аналитике, который называется confusion matrix.
Это очень странно, что Вы не смогли это понять, если Вы занимаетесь анализом данных Но ок, у всех свой бекграунд, поэтому расскажу на пальцах. В колонках по сути - прогнозные значения, в строках - фактические. Причем, речь в нашем случае идет о задаче мультиклассификации.
Я не знаю логики бизнеса и создателей ассессмент центра, но склонен предположить, что строки можно объединить в три из шести:

1. Ниже среднего + удовлетворительно - условно плохие;
2. Хорошо + очень хорошо - средние;
3. Отлично + великолепно - лучшие.

Тогда мы получаем такую confusion matrix

	LS	QS	MS
плохие	0	3	0	3
средние	7	21	0	28
лучшие	12	40	6	58
	19	64	6	89

Юрий, давайте посчитаем метрики confusion matrix?

• Единственный смысл применения можно увидеть только в ситуации отбора лучших (ячейка на пересечении "лучшие" и ""MS"). В данном случае метрика Precision равна - 100 %, т.е. мы можем быть уверены, что кандидаты, получившие оценку MS в 100 % будут лучшими. Но не вызывает подозрения метрика Recall для этой задачи? 10 %! Не слишком ли дорого? 
• В другом направлении - отсеивании плохих модель вообще не работает. Поскольку метрика Precision для плохих равна 0 %. И всех плохих мы по схеме берем в компанию. 
• И в принципе стоит признать данную модель вредной для компании: по оценкам ассессмент центра все "плохие" будут приняты в компанию, а 19 кандидатов получили оценку LS, и если с этой оценкой отсекают на входе, то получается, ассессмент центр отсеял бы 19 невинных спецов:). А это помимо сломанных карьер еще и увеличение на рекрутинг примерно на 20 % в связи с тем, что ребята из ассессмент центра отсеивают кандидатов. 

Заключение

Уважаемый Юрий! Крайне сожалею, что мне приходится объяснять Вам азбучные истины аналитики. Ну что поделать, если Вы этого не знаете или не хотите замечать.
Более того, я не думаю, что Вы будете тратить свое драгоценное время на чтение моих выводов.
Но! Раз вы обладаете сильными аналитическими навыками, то уж будьте любезны, дайте свою интерпретацию результатов ассессмент центра из книги Сидоренко. Вполне допускаю, что я то-то упустил, и Вы дадите мне урок.
И это будет как то по мужски, чем просто кидать фразы, что вы там ничего не нашли, не находите?
И напоследок. Ваша фраза

А утверждать, что валидность ЦО под вопросом, так как есть всего три русскоязычных исследования, это как-то не очень корректно.

Совершенно с Вами согласен! Нельзя делать никаких выводов на основании трех исследований. Но что же делать, если автор Стандарта мне предоставил ВСЕГО три исследования! И что же делать, если эти исследования в России не ведутся.
Юрий, Вы вот лично что сделали для валидизации ассессмент центров в России?


__________________________________________________________
На этом все, читайте нас в фейсбуке, телеграмме и вконтакте