Работают ли на самом деле модели компетенций (competency frameworks) в организациях в реальном мире?

Перевод статьи Do Competency Frameworks Work in Real-World Organisations? в рамках нашего проекта переводы статей по hr-аналитике на английском. Перевод выполнила Галина Мешкова, эксперт в оценке, отборе, развитии и обучении (по ссылке профиль Галины на фейсбуке).
Статья не просто важная, она базовая - с нее многие должны начинать у себя HR-аналитику в компании. Проблема банальна, хотя эту проблему создатели моделей компетенций, специалисты по ассессмент центру просто не замечают: мы вкладываем кучу сил в создание моделей компетенций, в проведение ассессмент центров, тратим время кандидатов и работников, но последний и едва ли не самый важный момент - проверка того, насколько созданная модель "бьется" с реальными бизнес результатами оцениваемых - мы "забываем".
Действительно, если посмотреть дискуссии специалистов по компетенциям, то обнаружим, что они много спорят о типах моделей, какие компетенции включать, какие развенчать и т.п.. Но до сих пор в России не ни одного представленного реального кейса о связи компетенций с эффективностью. Наши спецы по компетенциям предпочитают пользоваться результатами мета анализа Еще раз про миф в оценке персонала, при этом данный мета анализ совсем не гарантирует аналогичных результатов конкретно для Вашей компании.
В моей практике наиболее крупный кейс был, когда я работал в Сбербанке и смотрел связь между результатами ассессмент центра от компании Экопси и эффективностью руководителей, измеряемой по KPI. Результаты данного анализа не согласуются ни с мета анализом, ни с выводами данной статьи. Для меня выводы данной статьи представляются спорными, но, тем не менее, главная задача - побудить наше hr сообщество выполнять подобный анализ. Статья ниже - прекрасный пример такого анализа.
Простите за подобное долгое вступление, итак,

Работают ли на самом деле модели компетенций (competency frameworks) в организациях в реальном мире? 

Введение

“Работают ли на самом деле модели компетенций в организациях в реальном мире?
Этот вопрос про модели компетенций, психометрические тесты и опросы 360 градусов и т.п. регулярно возникает в различных формах, в группах, посвященных аналитике на LinkedIn, и порождает многочисленные споры. Я хотел бы обсудить это здесь в контексте фразы «реальный мир», используя метод кейс-стади (разбора ситуаций).
Термин «реальный мир» отражает восприятие многих старших и операционных (operational) менеджеров, в котором модели компетенций и психометрические тесты могут быть не столь эффективны, как в контролируемых академических условиях, в которых они изначально создавались и развивались. Могут ли быть правдивыми их сомнения?

Аналитики и люди бизнеса определяют термин «эффективный» по-разному

Для того чтобы ответить на этот вопрос, нам необходимо более глубоко изучить значение термина «эффективный» в этом контексте. Не принимая во внимание, полностью академических экспертов, аналитики обычно считают модель «эффективной», если она обладает высокой валидностью и точно измеряет то, что она призвана измерять, ту или иную компетенцию, способность или личность. Теперь сопоставьте это с операционными менеджерами, для которых термин «эффективный» обычно относится к предсказательной (или согласованной) валидности измерений, то есть, распространяется на те инвестиции организации в модели, которые предсказывают желаемое поведение сотрудников, такое как результативность, удержание и, в конечном счете, принесение прибыли.
Вот в чем трудность: только потому, что модель точно измеряет обобщенный образ значений для измерения (например, компетенцию или способность), этот образ действительности не является инструментарием, предсказывающим важные выводы относительно сотрудника. Таким образом, нет необходимости создавать метрики, которые могут быть использованы как полезные вводные для создания программ по развитию талантов, особенно, с целью достижения наилучших показателей деятельности и удержания высокопотенциальных сотрудников.

Как установить обоснованность/годность модели? 

Как вы устанавливаете обоснованность/годность модели компетенций или опроса 360 градусов и т.п.?

1. Первым делом вы проверяете согласованную валидность на репрезентативной   выборке ваших сотрудников, для того чтобы определить, какие из компетенций коррелируют с желаемым поведением сотрудников в «реальном мире», в вашей организации (в отличие от поставщика, требующего протестировать их).
2. После этого вы усовершенствуете модель, основываясь на выводах, которые вы сделали, изучив корреляции. 
3. Если потенциальная стоимость ошибки провала модели достаточно высока, вы применяете методологию, чтобы проверить причинную связь/ прогностическую валидность (causality/predictive validity).

Кейс-стади

Печально, что мало организаций проводят такое тестирование перед получением (procuring) моделей, что может привести к неутешительным результатам. Иллюстрацией этого является недавнее исследование данных о чертах и развиваемых компетенциях 250 менеджеров, занимающих одинаковые должности в крупной международной компании (голубая фишка) и их результатами на работе. (Fig 1).

Мы смоделировали их как (перевод и расшифровка модели в тексте ниже):

• Психометрические данные: Фиксированные характеристики, трудноизменяемые со временем и, таким образом, потенциально полезные для отбора, если они коррелируют с производительностью. 
• Компетенции: Поддающиеся развитию поведенческие характеристики, которые оцениваются моделью компетенций компании, опрос 360 градусов и программы развития ассессоров. Полезны для развития высокой производительности. 
• Результативность сотрудников: Нам повезло, потому что удалось заполучить данные о финансовых результатах каждого менеджера, что обозначает, что эти шкалы достаточно объективны. В конечном счете, причина вкладывать в психометрики и компетенции для отбора и развития - достичь высокой производительности.

Мы открыли следующие взаимосвязи в данных: 

• Результаты психометрик и компетенций: как было показано, только 47% шкал психометрических тестов коррелирует с развиваемыми компетенциями. Размер эффекта был мал, обычно менее чем 0.20 значения, поэтому они не могли бы быть полезными для отбора на вакансии кандидатов, демонстрирующих компетенции ценные для организации. Один психометрический тест, однако, дал сильную корреляцию с детальностью, к сожалению, эта корреляция была негативной, чем выше баллы кандидата на вакансию, тем ниже их баллы при оценке компетенций, вряд ли это то, что планировала компания, покупая этот тест. 
• Результаты психометрик и производительность сотрудников: Только 7% шкал психометрических тестов коррелирует с деятельностью сотрудников и опять же размер эффекта мал, обычно менее  0.20 – психометрические тесты - не являются полезными для отбора. Опять же, один тест показал негативную корреляцию с деятельностью - это значит, если бы высокие баллы теста использовались для отбора кандидатов, это было бы, чем то вроде, отбора неуспешных сотрудников.
• Компетенции и производительность сотрудников: только 12% щкал оценки развиваемых компетенций коррелируют с производительностью и, опять, размер эффекта крайне мал, что означает, что инвестировать в эти компетенции, как драйверы программ развития не стоит. И еще одно, некоторые из этих компетенций имели негативную корреляцию с производительностью, что означает, что развитие их может, именно, снижать результативность сотрудников. 

Заключение 

Таким образом. Возвращаясь к первоначальному вопросу: Работают ли модели компетенций и психометрические тесты на самом деле в организациях в реальном мире? Едва ли можно винить менеджеров из приведенной выше компании в скептицизме. Такое развитие событий не является необычным, и результаты являются типичными в ходе аудита эффективности инвестиций компании в модели компетенций и другие измерения результативности сотрудников.

Но должно ли быть так? Я верю, что ответ на этот вопрос «нет», и что модели могут не только работать, но и значимо улучшать результативность в «реальном мире».

Все что необходимо - это проводить предварительный анализ полученных данных, которые я обозначил выше, поскольку, необходимо определить была ли результативность измерена подобающим образом, также как и то, какие шкалы полезны и неполезны (таким образом, слабые шкалы могут быть удалены и, если необходимо, заменены местами с более высокой предсказательной волосностью/коррелирующими). Обычно, мы видим улучшение результативности сотрудников от 20 до 40% при простом следовании этому процессу.

Таким образом, ответ на изначальный вопрос, в конечном счете, «да»- модели компетенции сотрудников могут работать, предоставляя эту систематическую точность, используемую для отбора инструментов для употребления «реальном мире».

Как получить ценность от моделей компетенций и психометрических тестов?

1. Модели не могут предсказать высокую результативность, если вы не знаете что такое «хорошо». Первый шаг при получении моделей - это убедится, что есть ясное определение «высокой производительности» и измеримо в зависимости от вашей роли. И если вы хотите апеллировать к вашим клиентам - операционным менеджерам - используйте операционные показатели результативности.
2. Прежде чем инвестировать в модель, которая потенциально может повлечь негативный  эффект на производительность сотрудников, убедитесь, что у вас есть независимая объективная оценка аналитической компании каждой согласованной шкалы и/ или предсказательной возможности относительно популяции сотрудников схожей вашей. Если провайдер, которого вы рассматриваете для сотрудничества, не может предоставить независимые данные, просите скидку или получите совет эксперта, перед тем как закупать что-либо.
3. Если численность ваших сотрудников более или около 250 человек, вам обязательно необходимо получить оценку эксперта, для того чтобы убедиться, что предлагаемая модель действительно коррелирует или предсказывает результативность в вашей организации до закупки.
4. Если вам необходима профессиональная помощь в интерпретации количественных данных, предоставленных провайдером, получите ее от независимого аналитика, а не от человека, работающего на провайдера, пытающегося продать вам модель.

__________________________________________________________

На этом все, читайте нас в фейсбуке и телеграмме