Перевод статьи Being predictive in HR analytics is probably less important than you think в рамках нашего проекта переводы статей по hr-аналитике на английском. Автор - Эндрю Марритт, если Вы читаете мой блог, то должны уже выучить это имя, ибо это один из самых профессиональных hr аналитиков. Его фишка - анализ текста.
Перевела Екатерина Малинина, HR business partner в IT-отрасли. Эксперт в оценке, обучении, развитии талантов. Помогает менеджерам строить эффективные и надежные команды, способные переложить в программный код любую задачу бизнеса. Профили Екатерины в фейсбуке и в Линкедине. Этот перед уже четвертый (!!!) перевод Екатерины. См. другие ее переводы
Итак, новая статья от Энрю Маррит, статья, на мой взгляд, спорная, но тем приятнее читать - спорные статьи заставляют спорить и думать
Основатель OrganizationView, кадровая аналитика
Несколько лет назад в среде HR много говорили о Big Data. Сейчас говорят о прогнозной аналитике. В обоих случаях люди хватались за самые популярные и впечатляющие темы вне HR и убеждали всех, что это прорыв. И в том, и в другом примере громкое название мешает пониманию истинного значения техник. В обоих случаях то, что спрятано за названием, составляет настоящую ценность.
В недавнем интервью с Matt Alder я говорил о том, что размер данных никогда, на самом деле, не был проблемой для Big Data в HR – настоящие сложности заключались в том, что из-за большого разнообразия и качества данных HR-аналитикам всегда было сложно их обрабатывать. Когда вы слышите, что количество цифровых данных растет экспоненциально, знайте, что большую часть этих неструктурированных данных составляют текст, картинки, аудио- и видеозаписи. Главная задача Big Data в HR – найти способ, как переработать этот неструктурированный массив информации. Сам по себе размер данных не так важен.
Что касается прогнозирования, сам по себе прогноз обычно менее важен в HR. Если в маркетинге можно сформулировать простые правила – «высылать предложение или не высылать предложение», и не так важно, откуда взялись эти рекомендации (гораздо важнее результат, т.е. получение выручки или прибыли), то в HR главная цель анализа, которую мы повсеместно наблюдаем, – не построение прогноза, а возможность интерпретировать модель. Понимание сути происходящего гораздо важнее предсказания.
Для понимания, о чем идет речь, давайте сделаем шаг назад и разберемся, о чем говорят аналитики. Работая с прогностической моделью, мы используем ряд методик, чтобы сделать одну из двух фундаментальных вещей: либо мы получаем прогнозируемый исход (обычно бинарный: покинет компанию/ останется в компании), либо мы получаем вероятность наступления события (также описанную как риск).
Чтобы принять решение, нам необходимо учитывать не прогноз как таковой, а оценку итогового исхода в сочетании с так называемой «функцией потерь». Функция потерь описывает издержки и преимущества решения, будь оно верным или неверным. Возможно, я расскажу об этом в одной из следующих статей, т.к. большинство приложений для HR-аналитики полностью игнорируют эту функцию: они помогают провести анализ и построить прогноз, но не помогают принять решение.
В HR-моделировании мы сталкиваемся с большой, сложной проблемой. Не только сами модели не отличаются точностью, и поэтому на рекомендации, сделанные на основе даже самых лучших из них, нельзя полностью полагаться, но, более того, функции потерь зачастую сами по себе ассиметричны и содержат неопределенность (т.е. мы не можем быть уверены даже в истинной ценности/ потере в случае принятия правильного или неверного решения, а ошибка часто может привести к тому, что потеря значительно превысит пользу от принятия верного решения).
Насколько качественны наши модели? Давайте возьмем простое и часто используемое приложение, моделирующее текучесть персонала. Поговорите с аналитиком, и он скажет вам, что лучшие модели, прогнозирующие текучку, достигают 85%ой точности. Этого достаточно? Шанс «выиграть» в русскую рулетку составляет 83.3%, т.е. примерно столько же. Если цена ошибки не велика, то такая точность вполне приемлема. В других случаях (как, например, в русской рулетке) – скорее всего, нет.
Естественным следствием функции потерь и неопределенности в модели является то, что при принятии решений в каждом конкретном случае необходимо смотреть на специфику данных. По нашему мнению, число сценариев в HR, где процесс принятия решений может быть автоматизирован (как минимум те решения, важность которых обоснована), крайне мало.
Для принятия решений людям важно знать не только сами рекомендации, но и то, на основе чего они возникли. Им важно понимать, что стоит за прогнозом или рекомендацией.
Если мы начинаем наш анализ на наиболее подходящем для этого шаге – определении действий/ исходов, которые могут быть получены, – в управлении персоналом они будут требовать изменения процедур. Эти процедуры могут быть таргетированными, и их параметры могут учитывать индивидуальные запросы, но, в любом случае, мы ограничены набором конечных исходов.
Самым главным при изменении процедур, определенно, является не точность модели, а ее интерпретируемость.
Возможность толковать модель делает ее гораздо полезнее для разработки более эффективных процедур, потому что в этом случае она описывает, что именно требуется изменить. Самый верный способ определить ценность модели – это предпринять верное, обоснованное действие.
Еще один важный аспект: мы не используем одну единственную функцию потерь, потому что изучаемая нами популяция неоднородна. Ценность/ затраты различных сегментов популяции различны. Обычно оптимизация решения требует разработки различных моделей, сформулированных для каждой отдельной группы персонала. Это, в свою очередь, позволяет действовать с учетом особенностей соответствующей группы.
Такие специфичные для групп модели могут быть не такими точными в прогнозировании, но они полезнее, потому что описывают то, что нас действительно волнует, и помогают скорректировать процедуры наиболее эффективным образом. В управлении персоналом мы сталкиваемся с гораздо большим количеством ограничений, чем в маркетинге. Необходимо, чтобы изменение процедур было обоснованным и демонстрировало справедливое отношение к различным категориям персонала. Нам необходимо объяснять сотрудникам, почему мы осуществляем те или иные изменения и как мы определяем, кого затронут новшества.
Таким образом, возникает вопрос: если в модели нас больше всего интересует ее толкование, а не прогноз, почему мы уделяем так много внимания прогнозированию?
Одна из наиболее действенных техник, по нашему мнению, - это построение множественных моделей, зачастую использующих различные методы. Некоторые из этих методов просты в толковании. Другие дают большую точность, но похожи на «чёрный ящик».
Скажем, ваша интерпретируемая модель рекомендует поднять заработную плату определенным категориям персонала на х%. Если вы воспроизведете это с помощью модели (предскажете), вы увидите самый лучший исход. Ваши изменения и модель подтверждают друг друга.
Мы обнаружили, что очень полезно воспроизвести/ предсказать изменения на модели с помощью различных методов. Если конечный исход вас устраивает, значит, вы нашли надежный вариант. Если несколько исходов значительно отличаются друг от друга, значит, ваш вариант вряд ли сработает в реальности. Интерпретируемость модели важна для того, чтобы определить, какие изменения нужны, но не очень подходит для их проверки.
Если вы действительно хотите принести пользу своей компании, используя сложные методы моделирования, то вам не стоит фокусироваться на составлении прогнозов. Вам нужно сосредоточиться на интерпретируемости и использовании функций потерь.
Andrew возглавлял первую конференцию в области европейской кадровой аналитики – HR Tech World’s 2013 ‘Big Data’ и был сопредседателем конференции Tucana’s ‘People Analytics’ в 2014, 2015 и 2016 гг. Он преподает HR-аналитику и «управляемый данными HR» в Европе и Азии и является членом консультативной группы по аналитике в области человеческого капитала CIPD, провозглашая стандарты и стратегию в HR-аналитике.
Перевела Екатерина Малинина, HR business partner в IT-отрасли. Эксперт в оценке, обучении, развитии талантов. Помогает менеджерам строить эффективные и надежные команды, способные переложить в программный код любую задачу бизнеса. Профили Екатерины в фейсбуке и в Линкедине. Этот перед уже четвертый (!!!) перевод Екатерины. См. другие ее переводы
- Радикальный эксперимент Unilever с процессом найма персонала: резюме – снаружи, алгоритмы – внутри
- Анализ текучести персонала – Описательные методы
- Анализ текучести персонала – Методы прогнозирования
Итак, новая статья от Энрю Маррит, статья, на мой взгляд, спорная, но тем приятнее читать - спорные статьи заставляют спорить и думать
Прогнозирование в HR-аналитике не так важно, как вы думаете
Andrew MarrittОснователь OrganizationView, кадровая аналитика
Несколько лет назад в среде HR много говорили о Big Data. Сейчас говорят о прогнозной аналитике. В обоих случаях люди хватались за самые популярные и впечатляющие темы вне HR и убеждали всех, что это прорыв. И в том, и в другом примере громкое название мешает пониманию истинного значения техник. В обоих случаях то, что спрятано за названием, составляет настоящую ценность.
В недавнем интервью с Matt Alder я говорил о том, что размер данных никогда, на самом деле, не был проблемой для Big Data в HR – настоящие сложности заключались в том, что из-за большого разнообразия и качества данных HR-аналитикам всегда было сложно их обрабатывать. Когда вы слышите, что количество цифровых данных растет экспоненциально, знайте, что большую часть этих неструктурированных данных составляют текст, картинки, аудио- и видеозаписи. Главная задача Big Data в HR – найти способ, как переработать этот неструктурированный массив информации. Сам по себе размер данных не так важен.
Что касается прогнозирования, сам по себе прогноз обычно менее важен в HR. Если в маркетинге можно сформулировать простые правила – «высылать предложение или не высылать предложение», и не так важно, откуда взялись эти рекомендации (гораздо важнее результат, т.е. получение выручки или прибыли), то в HR главная цель анализа, которую мы повсеместно наблюдаем, – не построение прогноза, а возможность интерпретировать модель. Понимание сути происходящего гораздо важнее предсказания.
Для понимания, о чем идет речь, давайте сделаем шаг назад и разберемся, о чем говорят аналитики. Работая с прогностической моделью, мы используем ряд методик, чтобы сделать одну из двух фундаментальных вещей: либо мы получаем прогнозируемый исход (обычно бинарный: покинет компанию/ останется в компании), либо мы получаем вероятность наступления события (также описанную как риск).
Чтобы принять решение, нам необходимо учитывать не прогноз как таковой, а оценку итогового исхода в сочетании с так называемой «функцией потерь». Функция потерь описывает издержки и преимущества решения, будь оно верным или неверным. Возможно, я расскажу об этом в одной из следующих статей, т.к. большинство приложений для HR-аналитики полностью игнорируют эту функцию: они помогают провести анализ и построить прогноз, но не помогают принять решение.
В HR-моделировании мы сталкиваемся с большой, сложной проблемой. Не только сами модели не отличаются точностью, и поэтому на рекомендации, сделанные на основе даже самых лучших из них, нельзя полностью полагаться, но, более того, функции потерь зачастую сами по себе ассиметричны и содержат неопределенность (т.е. мы не можем быть уверены даже в истинной ценности/ потере в случае принятия правильного или неверного решения, а ошибка часто может привести к тому, что потеря значительно превысит пользу от принятия верного решения).
Насколько качественны наши модели? Давайте возьмем простое и часто используемое приложение, моделирующее текучесть персонала. Поговорите с аналитиком, и он скажет вам, что лучшие модели, прогнозирующие текучку, достигают 85%ой точности. Этого достаточно? Шанс «выиграть» в русскую рулетку составляет 83.3%, т.е. примерно столько же. Если цена ошибки не велика, то такая точность вполне приемлема. В других случаях (как, например, в русской рулетке) – скорее всего, нет.
Естественным следствием функции потерь и неопределенности в модели является то, что при принятии решений в каждом конкретном случае необходимо смотреть на специфику данных. По нашему мнению, число сценариев в HR, где процесс принятия решений может быть автоматизирован (как минимум те решения, важность которых обоснована), крайне мало.
Для принятия решений людям важно знать не только сами рекомендации, но и то, на основе чего они возникли. Им важно понимать, что стоит за прогнозом или рекомендацией.
Если мы начинаем наш анализ на наиболее подходящем для этого шаге – определении действий/ исходов, которые могут быть получены, – в управлении персоналом они будут требовать изменения процедур. Эти процедуры могут быть таргетированными, и их параметры могут учитывать индивидуальные запросы, но, в любом случае, мы ограничены набором конечных исходов.
Самым главным при изменении процедур, определенно, является не точность модели, а ее интерпретируемость.
Возможность толковать модель делает ее гораздо полезнее для разработки более эффективных процедур, потому что в этом случае она описывает, что именно требуется изменить. Самый верный способ определить ценность модели – это предпринять верное, обоснованное действие.
Еще один важный аспект: мы не используем одну единственную функцию потерь, потому что изучаемая нами популяция неоднородна. Ценность/ затраты различных сегментов популяции различны. Обычно оптимизация решения требует разработки различных моделей, сформулированных для каждой отдельной группы персонала. Это, в свою очередь, позволяет действовать с учетом особенностей соответствующей группы.
Такие специфичные для групп модели могут быть не такими точными в прогнозировании, но они полезнее, потому что описывают то, что нас действительно волнует, и помогают скорректировать процедуры наиболее эффективным образом. В управлении персоналом мы сталкиваемся с гораздо большим количеством ограничений, чем в маркетинге. Необходимо, чтобы изменение процедур было обоснованным и демонстрировало справедливое отношение к различным категориям персонала. Нам необходимо объяснять сотрудникам, почему мы осуществляем те или иные изменения и как мы определяем, кого затронут новшества.
Таким образом, возникает вопрос: если в модели нас больше всего интересует ее толкование, а не прогноз, почему мы уделяем так много внимания прогнозированию?
Одна из наиболее действенных техник, по нашему мнению, - это построение множественных моделей, зачастую использующих различные методы. Некоторые из этих методов просты в толковании. Другие дают большую точность, но похожи на «чёрный ящик».
Скажем, ваша интерпретируемая модель рекомендует поднять заработную плату определенным категориям персонала на х%. Если вы воспроизведете это с помощью модели (предскажете), вы увидите самый лучший исход. Ваши изменения и модель подтверждают друг друга.
Мы обнаружили, что очень полезно воспроизвести/ предсказать изменения на модели с помощью различных методов. Если конечный исход вас устраивает, значит, вы нашли надежный вариант. Если несколько исходов значительно отличаются друг от друга, значит, ваш вариант вряд ли сработает в реальности. Интерпретируемость модели важна для того, чтобы определить, какие изменения нужны, но не очень подходит для их проверки.
Если вы действительно хотите принести пользу своей компании, используя сложные методы моделирования, то вам не стоит фокусироваться на составлении прогнозов. Вам нужно сосредоточиться на интерпретируемости и использовании функций потерь.
Об авторе
Andrew – один из пионеров кадровой аналитики в Европе. Он основатель OrganizationView, создатель инструмента для получения обратной связи от сотрудников с помощью открытых вопросов Workometry и сооснователь сообщества Кадровой аналитики ШвейцарииAndrew возглавлял первую конференцию в области европейской кадровой аналитики – HR Tech World’s 2013 ‘Big Data’ и был сопредседателем конференции Tucana’s ‘People Analytics’ в 2014, 2015 и 2016 гг. Он преподает HR-аналитику и «управляемый данными HR» в Европе и Азии и является членом консультативной группы по аналитике в области человеческого капитала CIPD, провозглашая стандарты и стратегию в HR-аналитике.
__________________________________________________________
На этом все, читайте нас в фейсбуке и телеграмме
Комментариев нет:
Отправить комментарий