Вопросы к тесту управленческого потенциала Экопси

Прослушал сегодня с большим интересом вебинар в исполнении Юрия Шатрова про методику / тест управленческого потенциала. У меня появилось несколько вопросов к автору и компании Экопси.

*  читайте нас в телеграмме

Сразу слайд с вебинара в подтверждение того что я был на вебинаре

1) Сразу скажу, что я реально не догоняю, что такое управленческий потенциал. Юрий говорит, что это не про текущую успешность, а про будущую, а потом рассказывает про совершенно стандартный кейс, как они строили регрессию по результатам работы в ритейле на данных 298 руководителей (и это был единственный кейс, который описал автор).
Очень бы хотелось буквально на примерах понять, чем отличается текущая успешность от будущей.
2) В продолжение этого вопроса: от Павла Безручко и Григория Финкельштейна я, работая в Сбербанке, услышал версию, что тест управленческого потенциала PIF вообще не связан с результативностью / успешностью руководителей.
Кто из вас прав, коллеги?

3) г-н Шатров говорил, что валидизация идет не только по результатам работы, но и по компетенциям и т.п.. Но в своем единственном кейса про 298 руководителей он указывает только про валидизацию по результатам работы.
Все таки хотелось бы понять механизм валидизации, как сочетается в нем валидизация по результатам работы с компетенциями и все такое.

4) Во время вебинара один из участников задал вопрос, какую точность подбора гарантирует данный тест.
Представитель Экопси гарантировал, что из всех подбираемых кандидатов 80-85 % кандидатов будут успешными, остальные нет - это погрешность. Ну или ошибка, это уже я перевожу.
Вот здесь уже не столько вопросы, сколько комментарии:

• Все-таки Юрий Шатров говорит про валидизацию по результатам работы. И это важно.  При чем здесь управленческий потенциал и как это связано со словами других представителей компании Экопси?
• Юрий Шатров гарантировал (!!!!) точность в 80-85 %. Не зная компании, отрасли и специфики бизнеса того, кто задавал вопрос, он гарантирует 80-85 % точность. Это есть в записи вебинара, поэтому прошу уважаемых коллег из Экопси не говорить, что я неправильно понял речь спикера. Те, кто реально занимаются прогнозами эффективности / результативности / успешности кандидатов, понимают, что никакой инструмент оценки никогда не даст такой точности в 80-85 %. Могу только порадоваться за таких аналитиков из Экопси. Ну бох с ним.
• В любом случае удивляет готовность Юрия Шатрова давать гарантии. В связи с чем последний вопрос: в Сбербанке тест управленческого потенциала показал себя отрицательно: никакой связи с эффективностью руководителей по KPI выявлено не было. Интересно, знает ли Юрий про этот результат? И если да, то на чем основана его уверенность гарантировать 80-85 % точность?.
• И еще вопрос Юрию: а вот если в какой нибудь компании точность будет не 80-85 %, готов ли автор вебинара также публично на вебинаре извиниться за то, что ввел в заблуждение публику?

И вопрос в воздух:
если все таки предположить, что валидность теста скорее такая же, как валидность в Сбербанке, то представляете, что происходит на конкурсе Лидеры России, где кандидатов тестируют на управленческий потенциал
__________________________________________________________
На этом все, читайте нас в  телеграмме


ПыСы. Позже записал вот такое обращение

Сравнение идеального и реального профилей руководителей: вопросы по инструменту

Данный пост - обращение к автору поста Сравнение идеального и реального профилей руководителей Юрию Тукачеву, а также ко всем специалистам, кто применяет подобный инструмент и/или считает себя в нем специалистом (Поскольку Юрий Тукачев дает ссылки на тест Лаборатории Гуманитарные Технологии, то вопросы поста адресую также к ним).

Философская вводная

Я опубликовал данный пост на странице Блога HR аналитики в фейсбуке с комментарием

В качестве тренировки мозговСчитаете ли Вы данный инструмент рабочим инструментом HR аналитики. Да или нет.  Ответ обоснуйте

Почему-то автор поста отказался содержательно дискутировать на тему поста, что мне совершенно непонятно. Автор подписывает пост, как HR Analyst. Человек одной со мной профессии.
Если мы говорим о профессиональном сообществе HR аналитиков, то я считаю своим правом делать любые комменты, критику и замечания, задавать любые вопросы, если они не носят личного характера.
И только честное, открытое обсуждение развивает рынок.

Итак

Юрий Тукачев приводит сравнение профилей успешного и неуспешного сотрудников с идеальным профилем руководителя. Мои вопросы касаются создания идеального профиля руководителя.
Процедура создания идеального профиля руководителя описана на сайте Лаборатории Гуманитарные Технологии:

1) Отобрать группу успешных сотрудников (по результатам деятельности) в количестве не менее 30 человек;
2) провести комплексное психологическое тестирование, учитывающее особенности мотивации, интеллектуальные свойства и личностные качества;
3) рассчитать средний профиль результатов по группе.
ИЛИ
В том случае, если групповые тенденции на уровне психологических факторов не выявляются, рекомендуется на том же массиве данных провести кластерный анализ для выделения групп сотрудников со сходными особенностями.

Здесь многое вызывает вопросы:

• Мы берем только успешных сотрудников для создания идеального профиля руководителя? А ситуация, при которой результаты шкал неуспешных руководителей будут совпадать с результатами по шкалам успешных руководителей, не рассматривается в принципе? Или по мысли создателей инструмента, неуспешные руководители будут иметь 100% совпадение с "общей выборкой" (цитирую сайт)?
• Средний профиль - это средние результаты по шкалам, а дисперсия не учитывается? Возможная такая ситуация, что среднее значение идеального профиля отличается от значений "общей выборки" отличается, но дисперсия по шкале высокая?
• Цитирую:  "если групповые тенденции на уровне психологических факторов не выявляются" - это значит, что средние значения не отличаются от "общей выборки"? Если так, то как определяется, есть отличие или нет? На глазок? Хотелось бы узнать математический критерий
• А что нам собственно дает идеальный профиль руководителя? На сайте и в посте Юрия Тукачева про это ни слова. Только "является итоговым заключением о значимых для должности индивидуально-психологических характеристиках с учетом данных статистического и/или экспертного исследования" - а как это связано с успешностью в должности?
• В каких процедурах HR можно применять этот идеальный профиль руководителя? Например, при отборе кандидатов на позицию руководителя можно?

Вопросы про собственно сравнение

• Что нам дает величина сходства реального руководителя (или кандидата) с идеальным профилем руководителя?
• Если успешность выражается бинарной переменной (если отбирают успешных, то это одна группа), то мы определяем вероятность быть успешным, отсюда вопрос: какова вероятность быть успешным руководителем у кандидата, реальный профиль которого идеально совпадает с идеальным профилем руководителя?
• А какова связь между успешностью руководителя и мерой сходства реального и идеального профилей руководителя? Если у нас коэффициент МакКрэя равен 0, 74, то какова вероятность быть успешным руководителем? Или любого другого коэффициента?

Я лично считаю, что данный инструмент не имеет никакого отношения к HR аналитике, он не позволяет нам прогнозировать успешность, но вполне допускаю, что у вас есть данные собственных исследований, которые опровергнут мое мнение. Готов также к открытой и публичной дискуссии. Заранее спасибо.
__________________________________________________________
На этом все, читайте нас в  телеграмме

И бонусом видео резюме данного поста Почему не работает профиль идеального руководителя

Как график работы влияет на удержание IT специалистов

Пост одной картинкой.
Последнее время активно привлекаю к участию в опросе IT специалистов, коллеги, по ссылке, добавьте голосов к опросу.
В опросе есть вопрос "Какой график работы у Вас был (есть)":

1. Свободный график
2. Установлено время начала и конца дня с жестким контролем
3. Установлено время начала и конца дня, но контроля не было 
4. Я работал дома

Результат интуитивно понятен, но давайте посмотрим.

1. free - Свободный график
2. oficecontrol - Установлено время начала и конца дня с жестким контролем
3. oficeNOcont - Установлено время начала и конца дня, но контроля не было 
4. home - Я работал дома

По оси X указан стаж работы в компании в месяцах, по оси Y - вероятность дожития специалиста до конкретного стажа. 0, 5 по оси Y - медиана дожития, или, по простому, средний срок жизни в компании.

1. Для работы в офисе с жестким контролем средний срок жизни составляет 40 месяцев;
2. Для работы в офисе без контроля - 54 месяца;
3. Те, кто работают дома - 55 месяцев;
4. На свободном графике - 91 месяцев.

Это, кстати, сильно отличается от того, что западные эксперты насчитали про средний срок жизни в западных известных и крупных технологических компаниях типа Google и Facebook (см. Дьявол в деталях. Особенности измерения средней продолжительности работы в компании).

Если Вы IT специалист, хотите поспорить, сначала поучаствуйте в опросе, а потом я с вами с удовольствием поспорю. 

__________________________________________________________

На этом все, читайте нас в фейсбуке и телеграмме

Джош Берсин. Переворот рынка HR технологий: 10 топ трендов 2018

Перевод статьи The HR Technology Market Disruption: 10 Top Trends for 2018 от Джоша Берзина (Josh Bersin) в рамках нашего  проекта переводы статей по hr-аналитике на английском. Автор - один из самых популярных визионеров в HR. Статьи его как и названия статей - взрывные для рынка. И у каждого уважающего HR-визионера есть традиция - 31 декабря мы ходим в баню они пишут статью о трендах каждый год. Смотрите предыдущие статьи про тренды:

• 9 горячих трендов в HR-технологиях … и почти все они - бомба на рынке;
• Топ 10 прорывов в HR технологиях (Одно время - самая популярная статья блога);
• HR-тренды 2016 от Берзина

И смотрите в принципе все статьи с тегом Josh Bersin.
Перевод сделала прекрасный специалист Александра Багинская (льщу себе за то, что наш проект по переводам позволяет находить такие таланты) - по ссылке профиль в Линкедине. Александра родом с Украины, но живет и работает в Голландии. Коннектитесь с таким спецами, коллеги. Таланты не те, кто много говорят, а кто умеют и вкладывают в свое развитие. Читайте другие статьи Александры у нас в блоге:

• Удержать или отпустить? Данные, на которые следует корректно реагировать, когда сотрудник увольняется
• Соседство с лучшими сотрудниками может увеличить производительность

Ну и теперь к переводу

Переворот рынка HR технологий: 10 топ трендов 2018

Автор статьи Josh Bersin, Глава и учредитель Bersin by Deloitte (Bersin™, Deloitte Consulting LLP), занимающийся аналитикой, исследованиями и разработкой инструментов, которые работодатели используют как основу для ежедневного принятия решений. Он работал с сотнями компаний, чтоб помочь им разработать высокоэффективные обучение сотрудников, развитие лидерства и управление талантами.
Я занимаюсь анализом рынка HR технологий почти 20 лет, и в этом году изменения ускоряются как никогда. В только что опубликованном отчете «Переворот рынка HR технологий 2018» ("HR Technology Disruptions for 2018") я описываю детали. В этой статье я дам краткое обзор десяти больших происходящих изменений.

1) Массивный сдвиг от «автоматизации» к «продуктивности».

Годами в фокусе HR технологий были автоматизация и интеграция HR практик. Это означало перемещение в онлайн начисления и выплаты зарплаты, ведения личных дел, обучения, отслеживания кандидатов, проведения собеседований и найма, оценки эффективности и т.п.
Все это – важно, но теперь это «обычное положение дел». Сейчас на рынке представлен широкий спектр HRMS и решений начисления зарплаты на основе облачных технологий, и вам не выпишут премию за автоматизацию HR процессов (но за ее отсутствие вас, конечно же, накажут). Наше новое исследование  High-Impact HR (HIHR) показывает, что около 45% компаний все еще сосредоточены на базовой автоматизации процессов, из этого мне ясно, что эта задача все еще в вашем списке и выделена красным.

Но за пределами автоматизации, как описано в статье HIHR, большой темой в бизнесе сегодня является продуктивность. Мы сейчас работаем в гибких, организованных вокруг команд организациях, и мы перегружены слишком длинными и объемными списками задач. Выгорание, сосредоточенность и вовлеченность сотрудников – проблемы, которые еще никуда не девались; мы сталкиваемся с email, сообщениями из разных мессенджеров и множеством средств коммуникации, которые способны нас захлестнуть. Можем ли мы построить HR ПО, которое действительно улучшит продуктивность и поможет командам работать слаженнее?

2) Разгон HRMS и облачных решений HCM, но не центр всего

В последние пять лет, облачный HR взобрался на пик популярности. Я могу перечислить более двух десятков успешных разработчиков, предлагающих HRMS, обработку компенсаций и множество инструментов управления талантами на облаке. В большинстве случаев они так же предлагают финансовые и другие ERP решения в придачу. Таким образом, вопрос для большинства компаний не в то, перейдут ли они на облако, а лишь в том, когда и как.

Что такое workforce planning

Пост очень короткий. Хочу пояснить, что делает HR-аналитик в в ситуации workforce planning.
Workforce planning - еще один термин / одно направление работы HR, которое по традиции все понимают по своему. Алек Левенсон (Alec Levenson) под этим понимает вот что Истинно стратегическое планирование трудовых ресурсов.
Я покажу, как должен это направление понимать HR-аналитик.
Workforce planning - это планирование ресурсов и планирование в прямом смысле этого слова.
Главная картинка аналитика, который занимается Workforce planning

• Красная линия - количество нанятых специалистов помесячно;
• Зеленая линия - количество уволившихся по собственной инициативе.

Улучшаем командную производительность с Анализом организационных сетей (ONA)

Перевод статьи Improving Team Productivity with ONA в рамках нашего  проекта переводы статей по hr-аналитике на английском. Автор уже второй раз в нашем блоге - Philip Arkcoll. Он создатель сервиса, поэтому статья и про его сервис в разрезе организационного анализа сетей.
Я саму тему анализа организационных сетей так до конца и не понимаю, и никто не взял на себя труд мне это объяснить. Мне обещали показать модели, созданные на основе такого анализа, но пока все в теории.
Тем не менее, вал статей на эту тему растет, и мы показываем наиболее адекватные тексты.
Перевод выполнила Ольга Хайдарова - HR project-manager компании "Этажи", г. Тюмень. Это первый перевод Ольги, наш проект растет:)
Итак,

Улучшаем командную производительность с Анализом организационных сетей (ONA)

Нас часто спрашивают об использовании данных, полученных из инструментов совместной работы, для измерения производительности отдельных сотрудников. Мой ответ на этот вопрос: в конечном счете, гораздо более интересно и ценно взглянуть, работают ли люди в продуктивных командах. Поддерживает ли окружающая среда и структура команды высокую производительность? В конце концов, вы можете нанимать самых талантливых сотрудников, но если вы поместите их в хаотичную и несобранную среду, скорее всего, они будут неэффективны.
Недавно мы сотрудничали с маркетинговой компанией,  которая боролась с проблемами производительности. Некоторые из её проектных команд постоянно сдавали работу с опозданием или плохим качеством, и, по их ощущениям, это  могло быть связано с личной эффективностью сотрудников.  Для более глубокого понимания проблемы, мы использовали анализ организационных сетей, чтобы более внимательно изучить, как их команды работают вместе.

Внутренний vs внешний фокус

Производительные проектные команды, как правило, автономны и сфокусированы.  Наличие множественных внешних заинтересованных сторон или внешних общих ресурсов может создавать “узкие места” и замедлять принятие решений.

Мы провели анализ соотношения внешнего и внутреннего (E/I Analysis) сотрудничества в проектных командах, используя данные электронной почты, календаря, хранилищ документов и инструментов управления проектами.  Анализ сравнивает  доли времени, которое члены команды проводят, взаимодействуя друг с другом,  и времени, в течение которого они сотрудничают с коллегами вне команды. Эти данные использовались как показатель того, насколько команда автономна и сфокусирована.

Высокосфокусированная команда должна значительную часть времени посвящать внутренним коммуникациям. Конечно,  в разных командах соотношение бывает разным, но, проанализировав более 100 организаций, мы обнаружили, что для команд специалистов умственного труда  характерно соотношение 60/40 (внутренние/внешние коммуникации).

Диаграмма сравнивает время взаимодействия между членами команды и время, проведенное в коммуникациях с остальной частью организации.

Прогноз индивидуальных рисков ухода из компании: разница в подходах

Готовлюсь к семинару HR-аналитика в R, планирую вставить блок прогноза индивидуальных рисков увольнения.
В чем смысл блока для бизнеса: мы собираем на входе информацию о кандидатах и на основе этой информации прогнозируем риск увольнения кандидата. Чем выше риск, тем выше вероятность, что мы его не возьмем на работу.
На первом семинаре "HR-Аналитика в R", Москва, 20-21 июня 2017 я давал регрессию Кокса, но без тренировки гиперпараметров, поэтому я дал по сути подход к выявлению драйверов текучести, исходя из схемы анализа текучестью, которую я предложил в посте Подходы к анализу, прогнозу и управлению текучести персонала.
Я решил посмотреть разные варианты прогноза индивидуальных рисков. Я создал три разные модели, создал троих тестовых чуваков и получил прогнозы по ним на трех разных моделях.

Вариант 1. Регрессия Кокса без тренировки гиперпараметров

Самый простой вариант
coxph(Surv(stag, event) ~ . , data = data)
Т.е. гиперпараметры по дефолту.
Индивидуальные прогнозы по трем нашим героям получились такие

Для тех, кто совсем в танке: по оси X - стаж работы в компании, по оси Y - вероятность дожития до этого момента.
Значение 0, 5 по оси Y - 50 % вероятность дожития
Итого, медианы дожития для кандидатов такие:

1. Иванов - 95 месяцев (я пишу приблизительно);
2. Петров - 50 месяцев;
3. Сидоров - 24 или 2 года.

Метрика качества модели конкорданс 0, 61.

Вариант 2. Регрессия Кокса с тренировкой параметров