В опросы следует включать больше открытых вопросов

С удовольствием сообщаю, что к нашему проекту переводы статей по hr-аналитике на английском подключились студенты Высшей школы экономики).
Любой желающий может подключиться к проекту: я вам гарантирую качественную статью по hr-аналитике (причем, сам я могу оспаривать выводы и методы в статье, как, например, анализ сетей в HR, но то, что статья не будет содержать бла бла бла и прибавит Вам знаний - за это я отвечаю), а с вас перевод. Переводы будут публиковаться в этом блоге и везде, где вы захотите опубликовать свой перевод.
Сегодня я публикую перевод статьи Андрю Марритта Surveys should be mostly open text. Перевод выполнила студент факультета социальных наук Департамента психологии НИУ ВШЭ Карцева Анастасия Леонидовна.
С гордостью сообщаю, что мы с Анастасией открываем российской публике имя Андрю Марритта - если не ошибаюсь, это первый перевод автора на русский. Вместе с тем, это одна из самых заметных фигур в hr-аналитике (в конце статьи посмотрите раздел Об авторе). Готов поспорить, что Андрю скоро пригласят на российскую конференцию. Не забудьте пригласить на конференцию первого переводчика статей Andrew Marritt - Анастасию Карцеву, организаторы! :)
Сервис автора Workometry вызвал в свое время взрыв на рынке. Фишка автора - анализ текстов. И сегодняшняя статья автора как раз про это. На самом деле это очень важная тема - анализ текстов. Тем более в HR, где очень много информации именно текст - от резюме на входе в компанию до exit интервью на выходе. И нам эти инструменты надо осваивать. Давайте учиться!
Итак

В опросы следует включать больше открытых вопросов

Основатель OrganizationView, практикующий HR аналитик, Том Андерсон пишет об исследованиях, на основе которых он сравнивает ответы, полученные с использованием шкалы Лайкерта и ответы в виде свободного текста.
  Том использовал опросы Google, чтобы спросить две выборки, состоящие из 1500 человек, о том, как они относятся к дискуссионному указу Дональда об ограничении въезда в страну для граждан ряда мусульманских стран. В одной группе, он задал вопрос, звучащий так, чтобы респонденты могли ответить на него по пятибалльной шкале Лайкерта.

Второй группе респондентов он задал такой же вопрос, но просил ответить в виде свободного текстового сообщения. 

Как Вы видите ответы удивительно схожи. Они отличаются друг от друга лишь в пределах 2%. Согласно его эксперименту использование ответа в виде свободного текстового сообщения также эффективно, как и традиционные количественные оценки ответа на вопрос.
  При использовании открытых вопросов вместо традиционных количественно измеряемых вопросов наблюдаются результаты чрезвычайно похожи на выводы Тома. Мы склонны использовать сочетание из открытых и закрытых вопросов в опросах сотрудников, но наиболее важными для нас являются ответы на открытые текстовые вопросы.
  Открытые вопросы не только могут достичь большинства задач, которых достигают традиционные количественные оценки ответа на вопрос, но также открытые вопросы имеют еще некоторые заметные преимущества.
  В своем посте позже Том подчеркивает разницу между ответами, полученными с использованием шкалы Лайкерта и ответами на открытые вопросы. Открытые вопросы предоставляют гораздо более богатые сведения. Как он отмечает: «В то время как мы не можем ничего больше сделать с данными, полученными с использованием шкалы Лайкерта, анализ ответов, полученных на открытые вопросы только начинается».
  Недавно клиент спросил нас, почему мы не используем отбирающий (сортирующий) вопрос, доступный в Workometry. Наш ответ был, что в качестве такого вопроса мы предпочитаем использовать открытый вопрос.
  Их предлагаемый отбирающий вопрос имеет 8 различных вариантов, куда могут быть отобраны сотрудники. Я мог бы показать почти идентичный вопрос, заданный как открытый вопрос другим клиентам, с помощью которого мы определили чуть менее 30 различных вариантов для отбора. Пока нами не был проведен контрольный тест, как было сделано Томом, но мы предполагаем почти идентичные с ним результаты. Отбор будет происходить правильно, только если потенциальных вариантов, куда может быть отобран работник, будут соответствовать всем истинным вариантам отбора, которыми обладает человек.
  В недавнем FT Tech Tonic Podcast с Астро Теллер, глава Alphabet’s ‘X’ лаборатории отмечает:

 “Если Вы серьезно относитесь к исследованию, Вы составляете свой тест таким образом, чтобы Вы сами не знали ответа на вопрос, который вы задаете, и чтобы Вы были абсолютно безразличны к ответу. Если вы это не сделаете, то Вы не сможете быть увереными в том, что Вы не склоняете респондентов к какому-либо ответу, а также в том, что Вы правильно анализируете полученные данные.”

  Как бы ни был хорош дизайн Вашего опроса, если Вы используете закрытый вопрос в качестве основы для отбора, то Вы, таким образом, задаете вопрос, который ограничивает Ваш ответ. А открытые вопросы дают Вам возможность не знать, что Вы собираетесь изучать, прежде чем Вы не спросите его. По нашему опыту, если мы зададим открытый вопрос, обычно мы находим 2 или 3 из 10 лучших ответов, которые Вы бы не включили в такой же по смыслу закрытый вопрос.
  Также открытый вопрос дает возможность изучить контекст текста. Закрытый вопрос может определить силу чувств (хотя приведенный выше пример показывает, что открытый вопрос может сделать это также хорошо), но не может объяснить, почему человек это чувствует. Именно поэтому, когда компании проводят крупные исследования взаимодействия между сотрудниками, обязательное действие - это сделать серию фокус-групп по конкретным темам для понимания контекста.

Когда мы рекомендуем использовать закрытый вопрос?

Хотя мы считаем, что в большинстве случаев самый правильный и лучший вариант – это использовать открытый вопрос, однако, есть ограниченное количество случаев, когда закрытый вопрос может быть намного лучше. Мы считаем, что лучше использовать закрытый вопрос, к примеру, когда мы хотим использовать простую метрику, например, расчетать индекс eNPS. То есть, когда наша цель состоит в том, чтобы построить модель, а для этого нам необходим простой числовой эквивалент для исследуемой переменной для каждого индивидуума. Закрытый вопрос используется, когда мы намерено хотим получить простой ответ.
  Почему закрытые вопросы так популярны? Если у открытых вопросов так много преимуществ, почему большинство исследований используют именно закрытые вопросы?
  Очень важным фактором является то, что данные, полученные с помощью таких вопросов намного легче представить и проанализировать. При использовании таких инструментов измерений, как OdinText для оценки отзывов клиентов или Workometry для обратной связи сотрудников, анализ больших объемов ответов в виде свободного текста был бы весьма затруднен. Однако теперь это не так. Учитывая быстрый прогресс аналитики текстов, я подозреваю, что мы начнем видеть постепенную смерть традиционных опросов.

Об авторе

  Эндрю является одним из пионеров HR аналитики. Он является основателем OrganizationView, создателем Workometry – инструмента для измерения обратной связи сотрудников, анализирующем данные полученные из открытых вопросов. Он также является соучредителем сообщества People Analytics в Швейцарии.
  Эндрю возглавлял первую конференцию European People Analytics - мероприятие «Big Data», посвященное HR Tech World 2013, и был сопредседателем конференции Tucana «People Analytics» в 2014, 2015 и 2016 годах. Он преподает HR-аналитику и управление данными в Европе и Азии, а также  является членом Консультативной группы по аналитике человеческого капитала CIPD, устанавливая стандарты и стратегию контента для HR Analytics.

__________________________________________________________
На этом все, читайте нас в фейсбуке, телеграмме и вконтакте