И снова про компетентностный подход

Мое отношение к компетентностному подходу давно определено: я этот подход похоронил как ненаучный. Претензия к компетентностному подходу очень простая: нет связи между оценкой по компетенциям и результатами работника. Т.е. более высокие показатели по компетенции N не гарантируют более высокие результаты в бизнесе.

Если говорить о западной практике, то она не намного лучшего данных моих исследований Работают ли на самом деле модели компетенций (competency frameworks) в организациях в реальном мире?

Но российский консалтинг не прекратил и не собирается прекращать разрабатывать и продавать модели компетенций на рынок. Понятно, что это очень хороший денежный рынок, который нельзя просто так бросить, руководствуясь только соображениями научной честности. Но должны же быть хоть какие-то декларативные основания? Ну как-то же консалтинг должен объяснять то, что уже начали понимать HR: зачем нужна модель компетенций, если нет связи с результативностью?

Я приглашал в свое время подискутировать Евгения Лурье на эту тему на конференции журнала Штат (и любого другого, кто готов), но Евгений ответил отказом. Но вот сегодня Евгений выдал свое мнение на данную проблему на своей странице Блог об оценке персонала. 

2. Кто сказал, что корреляция с результатами - это панацея? Это такой стандартный жупел из серии «мы работаем в интересах бизнеса». Обычно замер KPI существенно хуже по качеству, чем стандартизированный инструмент оценки поведения. Да ещё и содержит солидную долю политики и платы за лояльность. Корреляция с мусором не делает выводы более научными, чем мнение топ-менеджеров и консультантов.

Мне, конечно, обидно, что со мной не хотят дискутировать О революции и новом формате коммуникаций в HR, но ок, не дорос я еще до того, чтобы со мной дискутировали люди такого полета. Мы на своем мелком уровне сами с собой подискутируем.

Итак

Кто сказал, что корреляция с результатами - это панацея? 

Я сказал. И даже не я. А все нормальные hr-аналитики так поступают. Это называется обучение с учителем. 

Это такой стандартный жупел из серии «мы работаем в интересах бизнеса». 

Евгений предлагает работать не в интересах бизнеса? В интересах чего или кого тогда?

Обычно замер KPI существенно хуже по качеству, чем стандартизированный инструмент оценки поведения. 

Евгений, а вы проводили исследование на тему, что хуже по качеству, KPI или стандартизованный инструмент оценки поведения. Предоставьте, пожалуйста, данные таких исследований.
И даже, если KPI хуже по качеству, то зачем бизнесу такой замер поведения, который не о чем не говорит? Мы выяснили, например, что кандидат умеет устанавливать контакт с незнакомыми людьми (причем, чаще всего только в голове ассессоров - девочек стажерок, поскольку консалтинговые компании не готовы тратить денег на более зрелых и более дорогих ассессоров). И что? Что нам дает такая информация? 

Да ещё и содержит солидную долю политики и платы за лояльность. 

Хорошее возражение.Могу вернуть той же монетой: результаты ассессмента чаще всего - плата за лояльность тому, что заказывает музыку. Но мне здесь непонятно другое: а откуда Евгений узнал, какова доля политики и платы за лояльность в KPI? Евгений, где цифры?
Но Ваши слова подразумевают, что KPI таки содержат хоть какую-то долю не платы за лояльность и политики, а результативности? И пусть эта доля мала, но она есть, и это лучше, чем оценка поведения в ассессменте, где доля результативности неизвестна, и автор нам говорит, что это не панацея, т.е. как бе и измерять это совсем необязательно. 

Корреляция с мусором не делает выводы более научными, чем мнение топ-менеджеров и консультантов.

Шедевральная фраза:) Мнение топ-менеджеров и консультантов по мнению Евгения Лурье как минимум столь же научно как и корреляция с мусором.  Теперь следите за руками:

По словам самого же автора в мусоре хоть какая-то доля не мусора, а результативности есть, а вот в мнении топ менеджеров и консультантов она есть? И получается, что Евгений возводит в ранг самоценности мнение топ менеджеров и консультантов. Не думаю, что у автора есть данные подобных исследований, а я могу привести очень известный пример: moneyball, посмотрите этот пост Оценки эффективности подхода Больших данных в оценке персонала. Там две картинки: когда команды подбирали игроков на основе топ менеджеров и консультантов, а вторая - чаще на основе данных. Результат очевиден.
Могу привести пример более близкий HR Про качество подбора персонала на основе интервью - это пример из хорошо известной рынку и Евгению книги Ласло Бока "Работа рулит!"

Боюсь показаться занудным, но кто-то в России проводил исследование о связи мнения топ-менеджеров и консультантов с результатами бизнеса? Помню, привел я Евгению Лурье данные самого первого моего кейса Кейс "Связь оценки по компетенциям и результатов деятельности" (26 апреля 2013 года - это уже история!!!). Вы пройдите по ссылке, там есть конкретные цифры, сами попробуйте измерить связь. На что Евгений отшил меня в том плане, что непонятно, кто измерял, что было зашито в компетенциях и т.п..

Ну ок. С 2013 года прошло четыре года, хочу узнать, а много ли исследований провели компании, в которых работал Евгений. Именно этих компаний: Экопси и Магнит, без ссылки на мифические метаисследования Еще раз про миф в оценке персонала, которые в наших условиях почему ну никак не подтверждаются. Это же очевидно для поклонников секты компетенций: условия не соблюдены и т.п.. Что же это за идеальный газ такой, что не подтверждается в наших условиях? И опять же заметьте: эти мета исследования принимаются Евгением, он их использует в качестве подтверждения, но связь с KPI для него совсем не панацея. 

Чтобы не заболтать дискуссию, адресую Евгению вопросы:

1. Откуда Вам известно, что "замер KPI существенно хуже по качеству, чем стандартизированный инструмент оценки поведения". Покажите, пожалуйста, исследования;
2. Какова в KPI доля политики и платы за лояльность? А какова результативности?
3. Покажите исследование, которые подтверждают ваше утверждение, что корреляция с мусором столь же ненаучна, как и мнение топ менеджеров и консультантов.

И еще:

покажите хоть какие то свои исследования, которые показывают связь с результативностью бизнеса. 

На сегодня у меня есть результаты связей оценки по компетенциям от компании Экопси, результаты теста PIF от этой же компании и данные результативности руководителей компании С. Связи между результативностью и данными оценок не обнаружено. Кстати говоря, связь между результативностью по KPI и данными оценок тестов другого провайдера выявлена. Чтобы бы не думали, что я все мажу одним цветом.
САМОЕ ВАЖНОЕ. Про позиции. Что предлагает Евгений.
Евгений отрицает цифры, но по сути ставит вопрос о приоритетах: доверять KPI или оценкам ассессмент центра. Определяйтесь, коллеги!
Для консалтеров эта хорошая парадигма: и хорошее объяснение их деятельности. 

Так вот моя позиция в этом вопросе очень простая:

KPI не панацея, но у нас другого в 99 % просто нет. Поэтому единственный путь - пытаться понимать, какая в KPI доля мусора, политики и лояльности. И учитывать это как bias. А если Вы как аналитик покажете бизнесу, что KPI мусор сплошной, то вам будет дополнительный бонус и компот. Но там далеко не все так просто, конечно. И задача сама по себе очень интересна и красива. 

Коллеги, у меня просьба ко всем желающим высказаться: есть данные, высказывайтесь. Нет данных, высказывайтесь, но помните, что ваше высказывание всего лишь ваше мнение, не подтвержденное никакими данными. Ок?

__________________________________________________________

На этом все, читайте нас в фейсбуке и телеграмме