Перевод статьи Engagement surveys - Part 1, issues with the traditional approach в рамках нашего проекта переводы статей по hr-аналитике на английском. Автор - Эндрю Марритт, стыд Вам, если Вы не знаете еще этого имени.
Перевела Екатерина Малинина, если Вы ее не знаете, то Вам тоже стыд. Этот перед уже пятый (!!!) перевод Екатерины. HR business partner в IT-отрасли. Эксперт в оценке, обучении, развитии талантов. Помогает менеджерам строить эффективные и надежные команды, способные переложить в программный код любую задачу бизнеса. Профили Екатерины в фейсбуке и в Линкедине. Как минимум, я бы зафрендился на вашем месте. Другие переводы Екатерины:
Итак, новая статья от Энрю Маррит
В этой серии статей я использую термин «исследование» в двух значениях: как исследование с выборкой и как опрос.
В данный момент мы наблюдаем переход от длинных редких исследований вовлеченности персонала к коротким, «импульсивным» опросам, использующимся или вместо, или в дополнение к длинным исследованиям. В этой и в следующей статье мы обсудим причины и преимущества такого подхода. Как всегда, я постараюсь рассказывать с точки зрения анализа данных.
Понятие вовлеченности впервые было описано William Kahn в 1990 году, однако стало популярным благодаря изданию Gallup в 1999 году книги «Сперва нарушь все правила». С тех пор большинство компаний проводят разного рода исследования вовлеченности сотрудников.
Примерно в эти же времена изменилась технология проведения опросов. До 1990-ых гг. опросы оставались преимущественно на бумаге. Когда интернет-технологии начали проникать в пространство исследований персонала, мы поняли, что электронные опросы могут полностью воспроизвести традиционные бумажные опросы. Это действительно было так, и некоторые компании даже поначалу проводили параллельно исследования в обоих форматах. До сих пор можно встретить бумажные опросники в некоторых сферах, например, для водителей-курьеров.
Данные опроса используются для определения демографических параметров участника. Можно подкрепить данные, которые предоставляет о себе респондент, данными, полученными из HR-системы компании. Такой метод наиболее эффективен для получения качественных данных, однако в некоторых компаниях есть ограничения, связанные с конфиденциальностью личной информации сотрудников.
Теоретически можно исследовать огромное количество факторов, связанных с вовлеченностью. Как отмечает Kieron Shaw в работе «Вовлеченность персонала: как сделать сотрудников высокоэффективными»:
10ый недостаток, который мы обнаруживаем как аналитики, состоит в том, что опросы дают иллюзию полноты исследования. Многие компании думают, что, задавая 80 вопросов, они покрывают 80 самостоятельных аспектов работы сотрудников. Очевидно, что это не так.
(Примечание перевочика. К сожалению, в оригинале статьи отсутствует график)
То, что мы видим, похоже на клубок. Каждый вопрос стремится коррелировать с другим вопросом. (На графике выше вопросы 31-33 касаются процессов работы, что, как мы знаем, слабо связано с вовлеченностью персонала.)
Мы провели эксперимент, в котором «уничтожили» 80% всех ответов в произвольном порядке и после этого использовали рекомендательный алгоритм, чтобы восстановить пропавшие данные. В большинстве случаев нам удалось точно восстановить те данные, которые были утрачены. Ответы людей соответствуют определенным шаблонам (отсюда и клубок), поэтому если вы знаете часть ответов, вам удастся весьма точно вычислить остальные (это значит, вероятно, что вы можете произвольно задавать разным людям разные вопросы, значительно сократив опросник и не потеряв в точности).
Большинство опросов используют шкалу Лайкерта, преимущественно 5ти-балльную, где есть варианты от «полностью согласен» до «полностью не согласен». Одна из причин ее популярности в том, что бумажные опросы, заполненные таким образом, удобнее обрабатывать (легко увидеть галочку в ячейке). Позже разработанный для бумаги процесс переложили в электронный формат, немного доработав вопросы так, чтобы получить преимущества, предоставляемые новым средством сбора и обработки ответов.
При заполнении опроса сотрудники воспринимают шкалу как непрерывное пространство между двумя конечными точками. Когда вы просите их ответить по 5-ти или 7-ми балльной шкале, фактически вы просите поместить их ощущения в наиболее подходящую компромиссную точку. Такие действия вводят участника опроса в определенные рамки, что в результате приведет к искажению данных. Данные не могут быть представлены линейно, вместо этого аналитик должен использовать методы статистического анализа, подходящие для порядковых данных.
В статье 2012 года журнала Полевые методы «Почему семантические дифференциалы в электронных исследованиях должны быть основаны на визуальной аналоговой шкале, а не на 5ти балльной шкале» Funke и Reips демонстрируют экспериментальные подтверждения того, что проставление отметки между двумя точками (визуальная аналоговая шкала) имеет гораздо больше преимуществ, чем традиционная 5ти балльная шкала с четко обозначенными значениями баллов. Первый вариант даёт более качественные (точные) данные и меньше влияет на участника опроса.
Сложно выбрать, что предпочтительнее использовать – визуальную аналоговую шкалу или шкалу с большим, но определенным числом делений (шкалу 0-10, используемую для оценки индекса потребительской лояльности NPS?). Тем не менее, я придерживаюсь мнения, что 5ти балльная шкала – правильный вариант.
По этой причине опросы часто делают не количественными, а качественными и фокусируют на нескольких ключевых темах. Такие исследования требуют много времени и весьма дороги. (Разумеется, действовать без понимания контекста может оказаться значительно дороже.)
В ряде случаев количественные вопросы с использованием шкалы наиболее предпочтительны, особенно если требуется выявить тренды. Однако довольно широкие, открытые вопросы могут предоставить богатые данные. Сложность для многих компаний в том, чтобы получить эти данные с помощью шкалы.
Если поразмышлять о том, как в процессе разговора мы пытаемся разобраться в каком-то предмете, то получится такая картина: мы задаем открытый вопрос и затем подходящие, уточняющие вопросы. Я твердо верю в то, что за этим будущее сбора обратной связи сотрудников, причем этот подход будет реализовываться в формате диалога с чат-ботом с возможностью применения множества языков и шкалирования.
С точки зрения возможностей, мы еще далеки от этого, но будущее наступает очень быстро. В следующей статье я опишу текущее положение, наши находки в работе с клиентами на «передовой» опроса сотрудников и расскажу о нескольких подходах, предпринятых наиболее инновационными компаниями нашего рынка.
Andrew возглавлял первую конференцию в области европейской кадровой аналитики – HR Tech World’s 2013 ‘Big Data’ и был сопредседателем конференции Tucana’s ‘People Analytics’ в 2014, 2015 и 2016 гг. Он преподает HR-аналитику и «управляемый данными HR» в Европе и Азии и является членом консультативной группы по аналитике в области человеческого капитала CIPD, провозглашая стандарты и стратегию в HR-аналитике.
__________________________________________________________
На этом все, читайте нас в фейсбуке и телеграмме
Перевела Екатерина Малинина, если Вы ее не знаете, то Вам тоже стыд. Этот перед уже пятый (!!!) перевод Екатерины. HR business partner в IT-отрасли. Эксперт в оценке, обучении, развитии талантов. Помогает менеджерам строить эффективные и надежные команды, способные переложить в программный код любую задачу бизнеса. Профили Екатерины в фейсбуке и в Линкедине. Как минимум, я бы зафрендился на вашем месте. Другие переводы Екатерины:
- Прогнозирование в HR-аналитике не так важно, как вы думаете
- Радикальный эксперимент Unilever с процессом найма персонала: резюме – снаружи, алгоритмы – внутри
- Анализ текучести персонала – Описательные методы
- Анализ текучести персонала – Методы прогнозирования
Итак, новая статья от Энрю Маррит
Исследования вовлеченности персонала: часть 1, проблемы традиционного подхода
Ниже вы познакомитесь с первой из двух статей, посвященных исследованию вовлеченности персонала. В этой части я расскажу о некоторых проблемах в этой области. На следующей неделе мы обсудим, как реагирует рынок на эти проблемы.В этой серии статей я использую термин «исследование» в двух значениях: как исследование с выборкой и как опрос.
В данный момент мы наблюдаем переход от длинных редких исследований вовлеченности персонала к коротким, «импульсивным» опросам, использующимся или вместо, или в дополнение к длинным исследованиям. В этой и в следующей статье мы обсудим причины и преимущества такого подхода. Как всегда, я постараюсь рассказывать с точки зрения анализа данных.
Немного истории
Организации проводят опросы персонала уже около 100 лет, с недавних пор – с помощью HR-подразделений, а ранее – силами операционных исследовательских групп. В 1970-ых основное внимание уделялось лояльности компании и удовлетворенности работой, и фокус сместился с организационных на человеческие ресурсы. В ранней работе Katz (1964) по теме гражданского организационного поведения говорил о понятии «лояльности организации».Понятие вовлеченности впервые было описано William Kahn в 1990 году, однако стало популярным благодаря изданию Gallup в 1999 году книги «Сперва нарушь все правила». С тех пор большинство компаний проводят разного рода исследования вовлеченности сотрудников.
Примерно в эти же времена изменилась технология проведения опросов. До 1990-ых гг. опросы оставались преимущественно на бумаге. Когда интернет-технологии начали проникать в пространство исследований персонала, мы поняли, что электронные опросы могут полностью воспроизвести традиционные бумажные опросы. Это действительно было так, и некоторые компании даже поначалу проводили параллельно исследования в обоих форматах. До сих пор можно встретить бумажные опросники в некоторых сферах, например, для водителей-курьеров.
Об опросниках
Суть всех опросников вовлеченности одна: с помощью ряда вопросов определить индекс вовлеченности. Обычно для этого требуется около 5 вопросов. Потом используется большое количество вопросов для определения параметров, связанных с вовлеченностью. В большинстве ежегодных исследований порядка 60-150 вопросов. По моим оценкам, сотрудник тратит порядка 20-30 секунд, чтобы ответить на каждый вопрос.Данные опроса используются для определения демографических параметров участника. Можно подкрепить данные, которые предоставляет о себе респондент, данными, полученными из HR-системы компании. Такой метод наиболее эффективен для получения качественных данных, однако в некоторых компаниях есть ограничения, связанные с конфиденциальностью личной информации сотрудников.
Теоретически можно исследовать огромное количество факторов, связанных с вовлеченностью. Как отмечает Kieron Shaw в работе «Вовлеченность персонала: как сделать сотрудников высокоэффективными»:
«Пожалуй, нецелесообразно напрямую оценивать в опроснике все действия, стоящие за вовлеченностью» в связи с тем, что «можно определить тысячи различных действий человека, склонностей и процессов, которые сказываются на вовлеченности».Следовательно, из длинного опросника разработчик исследования должен выбрать набор потенциально значимых факторов.
Критика традиционных опросников
В интереснейшей статье «Оценка вовлеченности персонала: с пьедестала – в копилку инструментов» Andrew Graham из Университета Куинс в Кингстоне выделяет 9 недостатков традиционных опросов:- Недостаточно частые
- Наличие заранее определенных вариантов ответов искажает действительность
- Агрегирование результатов уменьшает количество истинных значений
- Не отражают специфику (контекст редко учитывается)
- Длинные или плохо спроектированные варианты ответов
- Менеджеры заняты и не мотивированы предпринимать какие-либо действия по результатам опроса
- Требуется большое количество ресурсов и наблюдений
- Опросы устаревают
- Не ясна причинно-следственная связь
10ый недостаток, который мы обнаруживаем как аналитики, состоит в том, что опросы дают иллюзию полноты исследования. Многие компании думают, что, задавая 80 вопросов, они покрывают 80 самостоятельных аспектов работы сотрудников. Очевидно, что это не так.
Проблемы опросных данных
Чаще всего данные опроса анализируют с помощью построения графиков корреляций (точечных диаграмм). Для этого каждый вопрос исследования принимают за одну из переменных графика, на графике они выглядят как области точек, а корреляция между вопросами – граница этих областей. Если таким образом визуализировать данные, то, скорее всего, мы получим что-то вроде этого:(Примечание перевочика. К сожалению, в оригинале статьи отсутствует график)
То, что мы видим, похоже на клубок. Каждый вопрос стремится коррелировать с другим вопросом. (На графике выше вопросы 31-33 касаются процессов работы, что, как мы знаем, слабо связано с вовлеченностью персонала.)
Мы провели эксперимент, в котором «уничтожили» 80% всех ответов в произвольном порядке и после этого использовали рекомендательный алгоритм, чтобы восстановить пропавшие данные. В большинстве случаев нам удалось точно восстановить те данные, которые были утрачены. Ответы людей соответствуют определенным шаблонам (отсюда и клубок), поэтому если вы знаете часть ответов, вам удастся весьма точно вычислить остальные (это значит, вероятно, что вы можете произвольно задавать разным людям разные вопросы, значительно сократив опросник и не потеряв в точности).
Проблемы интерфейса опросников
Это в некотором роде спорная тема. Она касается того, как задаются вопросы.Большинство опросов используют шкалу Лайкерта, преимущественно 5ти-балльную, где есть варианты от «полностью согласен» до «полностью не согласен». Одна из причин ее популярности в том, что бумажные опросы, заполненные таким образом, удобнее обрабатывать (легко увидеть галочку в ячейке). Позже разработанный для бумаги процесс переложили в электронный формат, немного доработав вопросы так, чтобы получить преимущества, предоставляемые новым средством сбора и обработки ответов.
При заполнении опроса сотрудники воспринимают шкалу как непрерывное пространство между двумя конечными точками. Когда вы просите их ответить по 5-ти или 7-ми балльной шкале, фактически вы просите поместить их ощущения в наиболее подходящую компромиссную точку. Такие действия вводят участника опроса в определенные рамки, что в результате приведет к искажению данных. Данные не могут быть представлены линейно, вместо этого аналитик должен использовать методы статистического анализа, подходящие для порядковых данных.
В статье 2012 года журнала Полевые методы «Почему семантические дифференциалы в электронных исследованиях должны быть основаны на визуальной аналоговой шкале, а не на 5ти балльной шкале» Funke и Reips демонстрируют экспериментальные подтверждения того, что проставление отметки между двумя точками (визуальная аналоговая шкала) имеет гораздо больше преимуществ, чем традиционная 5ти балльная шкала с четко обозначенными значениями баллов. Первый вариант даёт более качественные (точные) данные и меньше влияет на участника опроса.
Сложно выбрать, что предпочтительнее использовать – визуальную аналоговую шкалу или шкалу с большим, но определенным числом делений (шкалу 0-10, используемую для оценки индекса потребительской лояльности NPS?). Тем не менее, я придерживаюсь мнения, что 5ти балльная шкала – правильный вариант.
Стоит ли вообще задавать вопросы со шкалой оценки?
Наконец, что заставляет нас предпринимать конкретные действия на основе данных исследования – это ответы на ряд открытых вопросов. Как замечает Graham в своем четвертом издании, данные опроса редко дают контекст. Однако природа открытых вопросов дает такую возможность.По этой причине опросы часто делают не количественными, а качественными и фокусируют на нескольких ключевых темах. Такие исследования требуют много времени и весьма дороги. (Разумеется, действовать без понимания контекста может оказаться значительно дороже.)
В ряде случаев количественные вопросы с использованием шкалы наиболее предпочтительны, особенно если требуется выявить тренды. Однако довольно широкие, открытые вопросы могут предоставить богатые данные. Сложность для многих компаний в том, чтобы получить эти данные с помощью шкалы.
Если поразмышлять о том, как в процессе разговора мы пытаемся разобраться в каком-то предмете, то получится такая картина: мы задаем открытый вопрос и затем подходящие, уточняющие вопросы. Я твердо верю в то, что за этим будущее сбора обратной связи сотрудников, причем этот подход будет реализовываться в формате диалога с чат-ботом с возможностью применения множества языков и шкалирования.
С точки зрения возможностей, мы еще далеки от этого, но будущее наступает очень быстро. В следующей статье я опишу текущее положение, наши находки в работе с клиентами на «передовой» опроса сотрудников и расскажу о нескольких подходах, предпринятых наиболее инновационными компаниями нашего рынка.
Об авторе
Andrew – один из пионеров кадровой аналитики в Европе. Он основатель OrganizationView, создатель инструмента для получения обратной связи от сотрудников с помощью открытых вопросов Workometry и сооснователь сообщества Кадровой аналитики ШвейцарииAndrew возглавлял первую конференцию в области европейской кадровой аналитики – HR Tech World’s 2013 ‘Big Data’ и был сопредседателем конференции Tucana’s ‘People Analytics’ в 2014, 2015 и 2016 гг. Он преподает HR-аналитику и «управляемый данными HR» в Европе и Азии и является членом консультативной группы по аналитике в области человеческого капитала CIPD, провозглашая стандарты и стратегию в HR-аналитике.
__________________________________________________________
На этом все, читайте нас в фейсбуке и телеграмме
Комментариев нет:
Отправить комментарий