Обратная связь для HR-директора (типология HR-директоров)

Красивый результат нашего исследования Портрет HR-директора (опрос действующий, и вы можете оставить там свой голос, опрос короткий - на 5 минут).

Базовый вопрос исследования - "Выделите, пожалуйста, несколько (до пяти) наиболее присущих компетенций HR-директору Вашей компании, как это представляется вам. Если Вы сами HR-директор, опишите себя":

1. Воздействие и оказание влияния
2. Ориентация на достижение
3. Командная работа и сотрудничество
4. Аналитическое мышление
5. Инициатива
6. Развитие других
7. Уверенность в себе
8. Директивность/Настойчивость
9. Поиск информации
10. Командное лидерство
11. Концептуальное мышление
12. Понимание компании
13. Построение отношений
14. Межличностное понимание

Набор компетенций взят из книги Спенсеров Компетенции в работе. На сегодня выборка респондентов 357 человек. 

Типология HR-директоров

Далее я сделал кластерный анализ, чтобы выявить типы выборов респондентов. Разбил на три кластера (в каждом кластере - компетенции, входящие в кластер в порядке важности):

• 0 кластер - Понимание компании Аналитическое мышление Командное лидерство Развитие других (точки коричневого цвета на диаграмме);
• 1 кластер - Командная работа и сотрудничество Понимание компании Развитие других Ориентация на достижение (белые точки);
• 2 кластер - Воздействие и оказание влияния Уверенность в себе Ориентация на достижение Директивность/Настойчивость (синие).

На диаграмме то, насколько кластеры расходятся по смыслам. Заметно, что 0 и 1 кластер сильно пересекаются. Это заметно и по компетенциям, которые входят в эти кластеры. По сути, у нас получилось два разных типа:

1. Один влияет, уверен в себе, директивен и настроен на достижение (2 кластер);
2. Другой нацелен на понимание, командную работу, анализ, развитие других (0 и 1 кластер). 

Обратная связь для HR-директора

У нас в исследовании есть коварный вопрос: "Являетесь ли Вы HR-директором компании?". И родилась у меня гипотеза, что HR-директора относят себя и их окружение относят своих HR директоров к разным кластерам.

Это сводная диаграмма.

• В строках у нас HR-директора и не HR директора;
• В колонках - кластеры;
• В ячейках - % от суммы по строке.

Интерпретируем так:

1. Сами HR-директора чаще видят себя в кластере 1 - Командная работа и сотрудничество Понимание компании Развитие других Ориентация на достижение - 40 % от всех HR директоров, поучаствовавших в опросе, относят себя к этому кластеру;
2. Реже всего HR-директора видят себя в кластере 2 - Воздействие и оказание влияния Уверенность в себе Ориентация на достижение Директивность/Настойчивость - только каждый четвертый 24 % относят себя к такому типу;
3. А вот почти 40 % окружения HR директоров относят их к кластеру 2 и, соответственно, к влияющим, уверенным в себе, директивным.

И эти различия значимы: Хи квадрат p-value = 0.008889.

Резюме

Мы зафиксировали различие в восприятии HR директорами самих себя и окружения. Это различие могло бы объясняться различием в выборке: например, поучаствовавшие в исследовании HR-директора работают в командных отраслях, а не HR-директора - в директивных. Пришлось проверять и убеждаться, что аудитории в основных параметрах не различаются значимо.

Чем тогда, на ваш взгляд, может быть вызваны эти различия?

Открытый ответ Александру Шмелеву к дискуссии по критике компетентностного подхода

Александр Георгиевич! С увлечением читаю дискуссию в Вашем форуме. К сожалению, не могу присоединиться к Вашей дискуссии.
Позвольте выразить Вам благодарность за то, что поддержали мою попытку поднять вопрос о валидности / не валидности ассессмент центра!
Постараюсь быть предельно кратким.
Если оставить только содержание дискуссии, то можно вывести тезу и антитезу дискуссии:

• Позиция Ваших оппонентов: Обсуждать валидность ЦО не имеет вообще смысла, поскольку это не метод, а технология: у нас каждый отдельный Центр Оценки уникален с т.з. условий, вводных данных, подготовки ассессоров и т.п...
• Ваша позиция: обсуждать валидность Центров Оценки имеет смысл, поскольку в итоге мы можем выйти на понимание условий/факторов, максимизирующих критериальную валидность. 

Сразу скажу, что мне близка Ваша позиция. И я этим, как практик, занимался. Замечу также, что мою позицию в отношении технологий оценки персонала нельзя назвать однозначно критичной: что я неоднократно подтверждал собственными исследованиями, например, о связи шкал Биг5 и текучести персонала. Но почему-то замечаются только исключительно критические посты. Критикую я только те технологии, которые, с одной стороны, вызывают много вопросов с точки зрения валидности, но при этом декларируются как очень валидные их создателями, см. например, Вопросу к тесту управленческого потенциала Экопси - поэтому вопрос не просто в содержании, но и в этике поведения на рынке.
Возвращаясь к теме валидности Центров Оценки.
Я бы хотел напомнить, что данный вопрос я поднял в рамках вопросов к создателям Российского Стандарта Центра Оценки, см. Про Российский стандарт центра оценки: вопросы аналитика к авторам.
И среди авторов Стандарта Центра Оценки стоит Ваше имя. Поэтому я к Вам обращаюсь именно как к автору Стандарта Центра Оценки.
Цитирую фразу из текста Стандарта:

"Валидность ЦО была ранее доказана на материале многочисленных исследований." 

Подозреваю, что Вы не читали сам текст Стандарта Центра Оценки, но теперь я акцентирую Ваше внимание на этой фразе и прошу ответить на вопросы:

• Можно ли считать, что данная фраза отражает Вашу личную позицию, как одного из авторов Стандарта Центра Оценки?
• Считаете ли, что сама фраза корректна: что в России существуют многочисленные исследования, доказывающие валидность ЦО?

И попробую развить тему:
Если мы с Вами остановимся на позиции, что валидность центров оценки можно и нужно обсуждать, то почему бы не обсудить конкретные исследования О валидности (точнее, невалидности) центров оценки - тем более, что эти кейсы предоставил Ваш со-автор по Стандарту Евгений Лурье?
И почему по Вашему, до сих никто так и не дал содержательного коммента по поводу кейса Сидоренко? * я не могу считать комментарий г-на Тукачева содержательным комментом (стиль которого, кстати сказать, очень далек от академического, но почему-то это никак не оценивается у Вас в форуме).
Выскажу свои соображения на эту тему: подобного обсуждения не происходит по одной простой причине: у HR просто нет необходимых навыков и знаний для обсуждения данных кейсов. И складывается странная ситуация: с одной стороны, авторы Стандарта предписывают соблюдать определенные условия, обеспечивающие валидность ЦО, с другой стороны, они не готовы обсудить конкретные кейсы Центров Оценки. Если так, то подрывает ли такая позиция создателей Стандарта Центров Оценки доверие к самому документу?

Буду Вам признателен, если Вы ответите именно из позиции автора Стандарта.

Открытый ответ Юрию Тукачеву к дискуссии по критике компетентностного подхода

Посыл ответа.
Шмелев А.Г дал ссылку на мой пост О валидности (точнее, невалидности) центров оценки в своем форуме.

На сегодня в ветке только один содержательный отзыв от Юрия Тукачева. Скрин во избежание затирания текста.

Ну и собственно цитата Юрия.

А где по ссылке критический анализ? Увы, я его не увидел. Там есть какие выкладки, манипуляции с цифрами, объединение в одну категорию QS и MS и т.п.
С другой стороны, в стандарте явно указано на необходимость валидизации ЦО. А утверждать, что валидность ЦО под вопросом, так как есть всего три русскоязычных исследования, это как-то не очень корректно. Критик делает упор на критериальную валидность, но содержательная и конструктная просто игнорируется. Это критика не валидности ЦО, а критика практики применения ЦО, когда авторы ЦО в конкретной организации совсем не валидизируют ЦО, ссылаясь на аргумент "валидность ЦО не подлежит сомнению". Но ведь стандарт ЦО именно и был разработн как руководство к действию, к тому как правильно.

Мой ответ в равной мере относится и к г-ну Потапкину, который "полностью согласен с Юрием" - надеюсь, что данный г-н в равной мере воспримет ответственность за слова Юрия и не просто даст общий комментарий, а продемонстрирует знание аналитики.

Ответ Юрию Тукачеву

Уважаемый Юрий! Попробую ответить на ваш комментарий, хотя уверен, что реакции от вас я не дождусь. И это очень печально. Я уже обращался к Вам в своем посте Сравнение идеального и реального профилей руководителей: вопросы по инструменту, но Вы откровенно проигнорировали мой пост, объяснив его моей личной неприязнью к Вам.
Это не так, уверяю Вас. Мне кажется, что открытая дискуссия развивает рынок, делает его конкурентным, и я грешным делом считал, что Вы к такой дискуссии открыты. Извините, ошибался.
Теперь по сути вашего коммента.
Вы не увидели критического анализа, поэтому вынужден Вам указать на критический анализ.

Критика, если верить Википедии это выявление ошибок.
И я эти ошибки выявил в кейсах на валидизацию ассессмент центров.
Евгений Лурье указывает про кейс Сидоренко: "Центр оценки правильно предсказывал успешность прохождения стажировки в 77.5% случаев"

Вот собственно картинка результатов ассессмент центра.

Юрий, поскольку Вы не смогли ничего понять, поясняю: эти результаты по сути являются инструментом классификации в аналитике, который называется confusion matrix.
Это очень странно, что Вы не смогли это понять, если Вы занимаетесь анализом данных Но ок, у всех свой бекграунд, поэтому расскажу на пальцах. В колонках по сути - прогнозные значения, в строках - фактические. Причем, речь в нашем случае идет о задаче мультиклассификации.
Я не знаю логики бизнеса и создателей ассессмент центра, но склонен предположить, что строки можно объединить в три из шести:

1. Ниже среднего + удовлетворительно - условно плохие;
2. Хорошо + очень хорошо - средние;
3. Отлично + великолепно - лучшие.

Тогда мы получаем такую confusion matrix

	LS	QS	MS
плохие	0	3	0	3
средние	7	21	0	28
лучшие	12	40	6	58
	19	64	6	89

Юрий, давайте посчитаем метрики confusion matrix?

• Единственный смысл применения можно увидеть только в ситуации отбора лучших (ячейка на пересечении "лучшие" и ""MS"). В данном случае метрика Precision равна - 100 %, т.е. мы можем быть уверены, что кандидаты, получившие оценку MS в 100 % будут лучшими. Но не вызывает подозрения метрика Recall для этой задачи? 10 %! Не слишком ли дорого? 
• В другом направлении - отсеивании плохих модель вообще не работает. Поскольку метрика Precision для плохих равна 0 %. И всех плохих мы по схеме берем в компанию. 
• И в принципе стоит признать данную модель вредной для компании: по оценкам ассессмент центра все "плохие" будут приняты в компанию, а 19 кандидатов получили оценку LS, и если с этой оценкой отсекают на входе, то получается, ассессмент центр отсеял бы 19 невинных спецов:). А это помимо сломанных карьер еще и увеличение на рекрутинг примерно на 20 % в связи с тем, что ребята из ассессмент центра отсеивают кандидатов. 

Заключение

Уважаемый Юрий! Крайне сожалею, что мне приходится объяснять Вам азбучные истины аналитики. Ну что поделать, если Вы этого не знаете или не хотите замечать.
Более того, я не думаю, что Вы будете тратить свое драгоценное время на чтение моих выводов.
Но! Раз вы обладаете сильными аналитическими навыками, то уж будьте любезны, дайте свою интерпретацию результатов ассессмент центра из книги Сидоренко. Вполне допускаю, что я то-то упустил, и Вы дадите мне урок.
И это будет как то по мужски, чем просто кидать фразы, что вы там ничего не нашли, не находите?
И напоследок. Ваша фраза

А утверждать, что валидность ЦО под вопросом, так как есть всего три русскоязычных исследования, это как-то не очень корректно.

Совершенно с Вами согласен! Нельзя делать никаких выводов на основании трех исследований. Но что же делать, если автор Стандарта мне предоставил ВСЕГО три исследования! И что же делать, если эти исследования в России не ведутся.
Юрий, Вы вот лично что сделали для валидизации ассессмент центров в России?


__________________________________________________________
На этом все, читайте нас в фейсбуке, телеграмме и вконтакте

И снова про компетентностный подход

Мое отношение к компетентностному подходу давно определено: я этот подход похоронил как ненаучный. Претензия к компетентностному подходу очень простая: нет связи между оценкой по компетенциям и результатами работника. Т.е. более высокие показатели по компетенции N не гарантируют более высокие результаты в бизнесе.

Если говорить о западной практике, то она не намного лучшего данных моих исследований Работают ли на самом деле модели компетенций (competency frameworks) в организациях в реальном мире?

Но российский консалтинг не прекратил и не собирается прекращать разрабатывать и продавать модели компетенций на рынок. Понятно, что это очень хороший денежный рынок, который нельзя просто так бросить, руководствуясь только соображениями научной честности. Но должны же быть хоть какие-то декларативные основания? Ну как-то же консалтинг должен объяснять то, что уже начали понимать HR: зачем нужна модель компетенций, если нет связи с результативностью?

Я приглашал в свое время подискутировать Евгения Лурье на эту тему на конференции журнала Штат (и любого другого, кто готов), но Евгений ответил отказом. Но вот сегодня Евгений выдал свое мнение на данную проблему на своей странице Блог об оценке персонала. 

2. Кто сказал, что корреляция с результатами - это панацея? Это такой стандартный жупел из серии «мы работаем в интересах бизнеса». Обычно замер KPI существенно хуже по качеству, чем стандартизированный инструмент оценки поведения. Да ещё и содержит солидную долю политики и платы за лояльность. Корреляция с мусором не делает выводы более научными, чем мнение топ-менеджеров и консультантов.

Мне, конечно, обидно, что со мной не хотят дискутировать О революции и новом формате коммуникаций в HR, но ок, не дорос я еще до того, чтобы со мной дискутировали люди такого полета. Мы на своем мелком уровне сами с собой подискутируем.

Итак

Будущее ассессмент-центра и компетентностного подхода

Я уже предрекал смерть компетентностного подхода (на своем вебинаре Talent Analitycs / Bigdata HR (как показать влияние HR на бизнес показатели), на выступлении журнала Штата и т.п..
Если свести критику к одной фразе, то она выглядит так: машина прогнозирует лучше эксперта / человека.
Собственно, в этом суть технологий Больших Данных
В этом смысле очень интересную статью приводит Евгения Лурье Ложись, БОМБА, или Статистика Лучше Экспертов. Смысл статьи в следующим (цитирую Евгения):

"Любой самы простецкий математический способ объединения отдельных оценок в итоговую (даже банальное среднее) переигрывает консилиум крутых экспертов"

Супер! Это вполне красиво укладывается в ту метафору, которую я задал на тех же выступлениях: я привел пример из книги Большие данные, где рассказывалось о том, что компания Амазон (наш Озон) отказалась от услуг экспертов литературных рецентзентов, которые писали рекомендации для совместных покупок (мы с этим встречаемся, когда после выбора той или иной книги в интернет магазине нам предлагают купить что либо еще). Прогнозы экспертов людей оказались хуже прогнозов машины: математический анализ оказался лучше с т.з. прогноза того, какие книги будут покупать читатели вместе со своим выбором. Машина приносила больше денег Амазону, чем эксперт.
И это нас ждет в компетентностном подходе и ассессмент центре.
А я хотел немного дальше пойти и сказать, что еще нас ждет в ближайшее время (что именно случится с ассессмент центром):

• Роль поведенческих индикаторов возрастет и станет цениться по смысловой нагрузке значительно выше самой компетенции, поскольку поведенческий индикатор и есть базовый поведенческий фактор / потенциальный предиктор, т.е. его значительно проще использовать в анализе
• Сами индикаторы станут бинарными - есть проявление поведения / нет проявление. Это связано с тем, что бинарная переменная в какой то мере поможет избежать искажений оценки экспертом / человеком. В силу математики даже многоуровневые индикаторы дают больше искажения.
• Компетенции будут выдумываться не экспертами, а создаваться на основе математических моделей / анализа - факторного, кластерного. И здесь нас ждут самое вкусные вкусности и сюрпризы для тех, кто любит погружаться в содержательные вещи, а не просто, как я простой цифровой монстр: предсказывает, а что за этим стоит - не важно.
• Изменится само наполнение понятия "поведенческий" индикатор. Вполне допускаю, что измерения будут происходить машинкой (анализ текста). Хотя это дело будущего, поскольку
• Для применения машинного анализа консалтинговые компании должны стать накопителями информации по ассессмент центрам и собирать данные по участникам ассессмент - центров: от социально - демографических характеристик, до будущего специалистов. И это позволит повысить "Святой грааль HR" - прогностичную валидность.
• Роль эксперта человека сведется к минимуму при интерпретации результатов, эксперт останется, видимо, только как фиксатор поведения оцениваемого. При этом процедуру будут выстраиваться таким образом, чтобы избежать вольностей интерпретации экспертом, ведущих к искажениям
• При таком подходе ассессмент-центр встроится в реальные бизнес процессы компании, и бизнес и HR будут интересоваться не только (и даже скорее не столько) индивидуальными показателями специалистов, а каков % проявления той или иной компетенции, поскольку на основе этого HR и/или бизнес сможет прогнозировать рост продаж или текучесть персонала.
• И самое главное: HR-ы наконец перестанут вести дурацкие разговоры о том, на каком языке надо с бизнесом разговаривать. 

Это очень широкоми мазками, думаю, со временем, получив от вас пинков, напишу более развернутую статью.

Российская неделя HR 2014

Сегодня выступал на мероприятии Российская неделя HR 2014. Компания организатор Prime Time Forum. Компания не HR-ная, специализируется на организации и проведении конференций. Собрали всех известных спикеров, тренеров и "звезд HR эстрады". Что совершенно неплохо для HR публики, поскольку дает возможность оценить общий уровень тренеров, консалтеров и т.п....
Для тренеров, консалтеров, т.е. нас - отличный способ завести связи, "потрещать" со старыми знакомыми.
Я был с темой 10 ключевых трендов в мировом HR. Открывал форум, зажигал аудиторию. В презентации много повторов моих прошлых презентаций. Но есть и новый слайд - критичный поинт - я говорю о смерти компетентностного подхода. Мысль здесь не буду развивать, скажу только, что в классическом компетентностном подходе (читай Спенсеров, например) методология создания модели компетенции базируется на ИПП - интервью по получению поведенческих примеров. Далее, в самой процедуре оценки - ассессмент центре - оценки выставляют эксперты.
Итого имеем: 1) процедуру создания модели, которая мне не представляется корректной с т.з. создания валидной модели и 2) инструмент оценки - человек, который сам по себе источникк ошибки в стиле bias - смещения (ну, например, мужчины склонны давать более высокие оценки красивым женщинам и все такое... И это лишь один из типов смещения).
В итоге получаем bullshit: мы накладываем несколько ошибок друг на друга, а на выходе - невозможность предсказать эффективность работников на основе оценки по компетенциям (см например Кейс "Связь оценки по компетенциям и результатов деятельности").
И я бы готов принять аргументы, что при должном уровне организации создания модели компетенции, при подготовке ассессоров, можно достичь определенной валидности, но вот собрал я уже более 10-ти кейсов, а взаимосвязей между оценкой по компетенциями и эффективности работников не обнаруживается. И среди кейсов - оценка уважаемыми консалтинговыми компаниями.
Ниже фото с моего выступления и презентация

Identifying competencies with behavioral-event interviews By David C. McClelland

Выкладываю статью Дэвида Макклеланда Identifying competencies with behavioral-event interviews - базовая статья, в которой приводятся данные исследования, валидизирующие применение компетентностного подхода, основанного на использовании бихевиорального интервью. Или интервью на основе поведенческих примеров.

О функционале специалиста по оценке персонала

Пост про методологию. И краткий. С заходом на инструменты, но в связи с отсутствием времени очень тезисно. Как зарубка на память, чтобы потом прорабоатть инстументально.
Цитирую себя с фейсбука

Мне кажется, проблема спецов по оценке персонала в зацикленности на процедурах оценки
Это мешает взглянуть шире на сам процесс сбора информации и интерпретации