В опросы следует включать больше открытых вопросов

С удовольствием сообщаю, что к нашему проекту переводы статей по hr-аналитике на английском подключились студенты Высшей школы экономики).
Любой желающий может подключиться к проекту: я вам гарантирую качественную статью по hr-аналитике (причем, сам я могу оспаривать выводы и методы в статье, как, например, анализ сетей в HR, но то, что статья не будет содержать бла бла бла и прибавит Вам знаний - за это я отвечаю), а с вас перевод. Переводы будут публиковаться в этом блоге и везде, где вы захотите опубликовать свой перевод.
Сегодня я публикую перевод статьи Андрю Марритта Surveys should be mostly open text. Перевод выполнила студент факультета социальных наук Департамента психологии НИУ ВШЭ Карцева Анастасия Леонидовна.
С гордостью сообщаю, что мы с Анастасией открываем российской публике имя Андрю Марритта - если не ошибаюсь, это первый перевод автора на русский. Вместе с тем, это одна из самых заметных фигур в hr-аналитике (в конце статьи посмотрите раздел Об авторе). Готов поспорить, что Андрю скоро пригласят на российскую конференцию. Не забудьте пригласить на конференцию первого переводчика статей Andrew Marritt - Анастасию Карцеву, организаторы! :)
Сервис автора Workometry вызвал в свое время взрыв на рынке. Фишка автора - анализ текстов. И сегодняшняя статья автора как раз про это. На самом деле это очень важная тема - анализ текстов. Тем более в HR, где очень много информации именно текст - от резюме на входе в компанию до exit интервью на выходе. И нам эти инструменты надо осваивать. Давайте учиться!
Итак

В опросы следует включать больше открытых вопросов

Основатель OrganizationView, практикующий HR аналитик, Том Андерсон пишет об исследованиях, на основе которых он сравнивает ответы, полученные с использованием шкалы Лайкерта и ответы в виде свободного текста.
  Том использовал опросы Google, чтобы спросить две выборки, состоящие из 1500 человек, о том, как они относятся к дискуссионному указу Дональда об ограничении въезда в страну для граждан ряда мусульманских стран. В одной группе, он задал вопрос, звучащий так, чтобы респонденты могли ответить на него по пятибалльной шкале Лайкерта.

Второй группе респондентов он задал такой же вопрос, но просил ответить в виде свободного текстового сообщения. 

Как Вы видите ответы удивительно схожи. Они отличаются друг от друга лишь в пределах 2%. Согласно его эксперименту использование ответа в виде свободного текстового сообщения также эффективно, как и традиционные количественные оценки ответа на вопрос.
  При использовании открытых вопросов вместо традиционных количественно измеряемых вопросов наблюдаются результаты чрезвычайно похожи на выводы Тома. Мы склонны использовать сочетание из открытых и закрытых вопросов в опросах сотрудников, но наиболее важными для нас являются ответы на открытые текстовые вопросы.
  Открытые вопросы не только могут достичь большинства задач, которых достигают традиционные количественные оценки ответа на вопрос, но также открытые вопросы имеют еще некоторые заметные преимущества.
  В своем посте позже Том подчеркивает разницу между ответами, полученными с использованием шкалы Лайкерта и ответами на открытые вопросы. Открытые вопросы предоставляют гораздо более богатые сведения. Как он отмечает: «В то время как мы не можем ничего больше сделать с данными, полученными с использованием шкалы Лайкерта, анализ ответов, полученных на открытые вопросы только начинается».
  Недавно клиент спросил нас, почему мы не используем отбирающий (сортирующий) вопрос, доступный в Workometry. Наш ответ был, что в качестве такого вопроса мы предпочитаем использовать открытый вопрос.
  Их предлагаемый отбирающий вопрос имеет 8 различных вариантов, куда могут быть отобраны сотрудники. Я мог бы показать почти идентичный вопрос, заданный как открытый вопрос другим клиентам, с помощью которого мы определили чуть менее 30 различных вариантов для отбора. Пока нами не был проведен контрольный тест, как было сделано Томом, но мы предполагаем почти идентичные с ним результаты. Отбор будет происходить правильно, только если потенциальных вариантов, куда может быть отобран работник, будут соответствовать всем истинным вариантам отбора, которыми обладает человек.
  В недавнем FT Tech Tonic Podcast с Астро Теллер, глава Alphabet’s ‘X’ лаборатории отмечает:

 “Если Вы серьезно относитесь к исследованию, Вы составляете свой тест таким образом, чтобы Вы сами не знали ответа на вопрос, который вы задаете, и чтобы Вы были абсолютно безразличны к ответу. Если вы это не сделаете, то Вы не сможете быть увереными в том, что Вы не склоняете респондентов к какому-либо ответу, а также в том, что Вы правильно анализируете полученные данные.”

  Как бы ни был хорош дизайн Вашего опроса, если Вы используете закрытый вопрос в качестве основы для отбора, то Вы, таким образом, задаете вопрос, который ограничивает Ваш ответ. А открытые вопросы дают Вам возможность не знать, что Вы собираетесь изучать, прежде чем Вы не спросите его. По нашему опыту, если мы зададим открытый вопрос, обычно мы находим 2 или 3 из 10 лучших ответов, которые Вы бы не включили в такой же по смыслу закрытый вопрос.
  Также открытый вопрос дает возможность изучить контекст текста. Закрытый вопрос может определить силу чувств (хотя приведенный выше пример показывает, что открытый вопрос может сделать это также хорошо), но не может объяснить, почему человек это чувствует. Именно поэтому, когда компании проводят крупные исследования взаимодействия между сотрудниками, обязательное действие - это сделать серию фокус-групп по конкретным темам для понимания контекста.

Когда мы рекомендуем использовать закрытый вопрос?

Хотя мы считаем, что в большинстве случаев самый правильный и лучший вариант – это использовать открытый вопрос, однако, есть ограниченное количество случаев, когда закрытый вопрос может быть намного лучше. Мы считаем, что лучше использовать закрытый вопрос, к примеру, когда мы хотим использовать простую метрику, например, расчетать индекс eNPS. То есть, когда наша цель состоит в том, чтобы построить модель, а для этого нам необходим простой числовой эквивалент для исследуемой переменной для каждого индивидуума. Закрытый вопрос используется, когда мы намерено хотим получить простой ответ.
  Почему закрытые вопросы так популярны? Если у открытых вопросов так много преимуществ, почему большинство исследований используют именно закрытые вопросы?
  Очень важным фактором является то, что данные, полученные с помощью таких вопросов намного легче представить и проанализировать. При использовании таких инструментов измерений, как OdinText для оценки отзывов клиентов или Workometry для обратной связи сотрудников, анализ больших объемов ответов в виде свободного текста был бы весьма затруднен. Однако теперь это не так. Учитывая быстрый прогресс аналитики текстов, я подозреваю, что мы начнем видеть постепенную смерть традиционных опросов.

Об авторе

  Эндрю является одним из пионеров HR аналитики. Он является основателем OrganizationView, создателем Workometry – инструмента для измерения обратной связи сотрудников, анализирующем данные полученные из открытых вопросов. Он также является соучредителем сообщества People Analytics в Швейцарии.
  Эндрю возглавлял первую конференцию European People Analytics - мероприятие «Big Data», посвященное HR Tech World 2013, и был сопредседателем конференции Tucana «People Analytics» в 2014, 2015 и 2016 годах. Он преподает HR-аналитику и управление данными в Европе и Азии, а также  является членом Консультативной группы по аналитике человеческого капитала CIPD, устанавливая стандарты и стратегию контента для HR Analytics.

__________________________________________________________
На этом все, читайте нас в фейсбуке, телеграмме и вконтакте

Анализ причин текучести персонала: открытые вопросы exit интервью

Продолжаю тему анализа текстов. Сегодня покажу набросок на тему анализа открытых вопросов exit интервью.
Выражаю благодарность Людмиле Роговой и Ивану Безуглову за помощь в работе над постом. К сожалению, становится все сложнее делать посты одному: сложность возрастает.
Проблема у нас в прежнем: мы можем собирать кучу информации при увольнении, в т.ч. задавать открытые вопросы в exit интервью, но

• кто эти все анкеты будет читать? 
• как из этого извлечь пользу? Как понять, что конкретная анкета говорит о тенденции, а не о личной проблеме конкретного работника? 

Для это применяется математика. Единственное требование - все эти ответы должны быть в электронном виде, а не на бумаге или в ушах кадровика.
У меня на сегодня нет данных exit интервью конкретной компании, не снабдил меня никто этим. Поэтому я пользуюсь результатами своего исследования факторов текучести персонала (ссылка дана с тем, чтобы вы поучаствовали в опросе). Последний вопрос исследования - открытый, дословно звучит так

Напишите (по желанию) в нескольких предложениях отзыв о работодателе (конфиденциальность гарантируем): особенности работодателя, особенности корпоративной культуры, менеджмента и коллектива, причины, по которым вы уволились или работаете в компании и т.п.

Я этот вопрос, уж простите, решил принять как открытый вопрос exit интервью.

Цель

А цель очень проста: выяснить, какого типа отзывы о компании связаны с высоким риском ухода из компании. Если совсем тупо, то какая причина увольнения заставляет работников покидать компанию быстрей.

Результат

Ну давайте посмотрим, что получилось. Чтобы получить ответ на заданный вопрос, нам нужно сгруппировать все ответы вокруг нескольких тем. Эту задачу выполняют несколько методов, в идеале стоило бы попробовать Латентное размещение Дирихле, см. пост Обратная связь сотрудников как инструмент диагностики корпоративной культуры. Я использовал Kmeans. Отличие в том, что Kmeans относит каждый отзыв о компании или каждую анкету exit интервью к одной теме / топику, а Латентное размещение Дирихле может каждую анкету exit интервью отнести к нескольким темам. Это, наверное, будет более корректным, поскольку респондент может писать о нескольких причинах увольнения, о нескольких особенностях компании. Но я сегодня делаю первый заход, мне хотелось просто потрогать инструмент, попытаться выделить ключевые темы.
Итак, я взял инструмент кластеризации Kmeans и выделил четыре кластера (я оставлю за скобками, почему именно четыре, но просто скажу, что игрался достаточно долго с разными параметрами, эта лучшая комбинация).

Невооруженным глазом заметно, что машинка разделяет не очень хорошо, не считая черный кластер - но там всего три точки, которые не оказывают влияния на общую картинку текучести. Но открою страшную тайну, у нас в этом исследовании всего 103 респондента, которые оставили отзыв о компании, я нетерпеливый, не смог дождаться, стал делать, со временем мы сможем получить более устойчивые кластеры.
Но и тем не менее, нас интересует не сами по себе кластеры. Нас интересует текучесть персонала, и как эти кластеры связаны с текучестью.
Используем полюбившийся вам анализ дожития. Я убираю из анализа "черный" кластер, как малочисленный, и смотрю на уровень текучести по каждому кластеру: в каком кластере работники убегают быстрее из компании.

Как читать такой тип диаграммы - Анализ и визуализация дожития: чем HR похож на медиков.

• По оси Y - вероятность, что работник доработает до этого момента стажа в компании.
• По оси X - число месяцев стажа

И вот у нас "синий" (или четвертый) кластер выбивается в лидеры текучести персонала. Смотрим регрессию Кокса
Call:
coxph(formula = Surv(months, as.numeric(event)) ~ cl, data = q1)

  n= 100, number of events= 63

      coef exp(coef) se(coef)     z Pr(>|z|)
cl3 0.1766    1.1932   0.4566 0.387   0.6988
cl4 0.5573    1.7459   0.2675 2.083   0.0373 *
И приз наш: мы зафиксировали значимые различия между вторым и четвертым кластером! Правда, значимость всего 0, 037, но не забывайте, что наша выборка будет увеличиваться.

Самое вкусное

Я в конце скажу о главном: что кластеры обозначают. У нас четвертый кластер оказался значимо "текучей", чем второй, давайте посмотрим на них.

• Четвертый кластер включает наиболее "тяжелые" слова: "директор" "директора" "компания" "причина" "руководитель" "руководство" "стороны"    "увольнения"   
• Второй кластер: "внимания" "возможность" "з/п" "заработная" "корпоративная" "культура" "профессионального" "развиваться" "руководитель"  

Вы заметили, что кластеры очень неточно делят топики? И это главная проблема на сегодня. Тем не менее, четвертый кластер у нас имеет достаточно четко очерченный смысл. И этот смысл повышает риски увольнения в компании. Сейчас найдется куча офигенно продвинутых "аналитиков", которые скажут: ну это же очевидно, что фактор отношений с руководителем играет первостепенную роль. А мне вот лично это не очевидно, поэтому я кручу проблему с разных сторон.
Ждите постов дальше на эту тему. и принимаем участие в исследовании факторов текучести

Понравился пост?

если Вы захотите выразить мне благодарность за интересный пост, вы можете перевести небольшую сумму мне на Яндекс кошелек (кликните по кнопке Перевести) 

или сделать перевод на карту Сбербанка,

Номер карты 676 280 38 921 538 46 57 

Или просто покликайте на директ рекламу ниже на странице - у вас это отнимет несколько секунд, а мне принесет немного денег. 

спасибо!

Анализ анкет обратной связи по обучению. Что нам могут сказать открытые вопросы.

Анализирую анкеты обратной связи по корпоративным семинарам. В анкетах помимо полей с цифровой оценкой семинаров есть поле обратной связи в виде открытого вопроса, участники могли писать про пройденный семинар все, что хотели.
В данном посте публикую подход к анализу, если заинтересуетесь, готов его обсуждать.

Проблема 

проблема использования подобных вопросов очевидна:

1. пишут редко, т.е. вообще отзывов мало;
2. а в имеющихся отзывах мало содержательной информации, в основном: "все было супер", "препод молодец!";
3. И когда мы вытаскиваем наконец содержательные отзывы, например, про полноту и ясность раздаточного материала, то непонятно, является ли это субъективным мнением одного участника или отражает мнение хоть части группы. Потому что, если это субъективная оценка участника, то реагировать и работать надо с участником, а если отражает мнение, то работать надо с преподавателем / тренером.
4. А теперь с учетом всего вышесказанного мы выходим на главную проблему: и кто после этого будет читать эти анкеты? Тренинг менеджер компании потратит два часа времени на чтение анкет, но сделать реальных выводов не сможет. 

Вот собственно для решения данных проблем я решил заняться анализом открытых вопросов анкет обратной связи

Решение

Неспециалистов сразу предупреждаю, что будут какие-то термины в области машинного обучения, которые могут показаться темным лесом, можно перейти сразу к результатам.
Первым заходом на решение проблемы была попытка построить кластеры отзывов: т.е. попытаться превратить все море тестовых отзывов превратить в несколько групп, связанных по смыслу. Выделю эти группы:

1. раздаточный материал семинара;
2. тренер;
3. применимость полученных знаний на практике;
4. организация семинара. 

Попытка эта не привела к успеху

На картинке показана попытка разделить все отзывы на три кластера, качество модели настолько качественно, насколько кластеры отделены друг от друга.
Видно, что кластер 0 не существует практически, а кластеры 1 и 2 это если и не один кластер, то граница весьма условна. Причем, это видно по смысловому наполнению, когда слова "материал" или "тренер" содержаться во всех кластерах, что значит для нас, мы не смогли поделить отзывы по нужным нам смыслам.

Мера сходства сообщений.

Тогда я решил использовать меру сходства сообщений. Это почти тоже самое, что поисковая выдача: первым в поисковике выходит наиболее релевантное сообщение, а потом по мере убывания. Понятно, что Гугл и Яндекс делают это сложнее)))
Но я таким образом могу посчитать насколько каждый отзыв участника семинара / тренинга схож с эталонным сообщением, сообщением, который отражает нужный нам набор слов.
Например, я беру тему "Материалы семинара" и создаю набор слов, выражений:
"раздатка восприятие визуализировать наглядный раздаточный материал материалы ....".
Далее запускаю алгоритм машинного обучения, который определяет меру сходства каждого сообщения с этим эталонным. И каждое сообщение получает свою оценку сходства, которую я записываю отдельной переменной. У нас получается вот такая картина:

благодаря грамотный тренер группа активно участвовать замечательный живой яркий динамичный следить	1.41
тема форма подача информация изучить разобрать инструмент реализация личный цель	1.36

не обращайте внимание на "нерусский" текст, я его предобработал (убрал лишние слова, привел все в одну форму), поэтому он как бы не читаем. 

Но зато вы видите, что у одного отзыва стоит оценка 1, 41, у другого 1, 36. У того, что 1, 36 мы видим слово "подача", которое было приведено в эталонном сообщении. Поэтому данный отзыв имеет больше сходства с эталонным. И важный момент: мера сходства показывает не просто количество слов из эталонного сообщения, но относительную частоту, т.е. сколько слов эталонного сообщения по отношению к количеству всего слов в сообщении. Мы тем самым вводим вес этой темы для отзыва, т.е. учитываем, что если участникам написал только про материалы семинара, вес этого сообщения будет более значимым. 

Таким образом мы можем посчитать средние значения по каждому семинару / тренингу. Получается вот что. 

	Семинар	Среднее значение меры сходства
1	Личная эффективность	1.403539
2	Навыки проведения презентации	1.398800
3	Навыки коммуникации	1.404731
4	Переговоры	1.403366

У нас максимальное различие определяется оценкой 1, 41. И таблица может ввести нас в удрученное состояние:

1. слишком близки средние значения к 1,4 1 
2. слишком невелико различие между средними.

Но давайте посмотрим на распределение оценок.

Упс, у нас из 2853 анкет более 75 % вообще никак не связаны с нашим эталонным сообщением (это правый столбец на картинке, оно же значение 1, 41). И это нормально. Ну никак тема материалов семинара не затронула участников. В этом же числе отзывов и пустые отзывы. 

Дескриптивные статистики 

count    2853.000000
mean        1.403738
std         0.032555
min         1.051462
25%         1.414214
50%         1.414214
75%         1.414214
max         1.414214

Что мы делаем

Тем не менее, четверть отзывов так или иначе связана с темой материалов. И нам осталось понять, есть ли значимые различия в оценках средних значений семинара по теме "Материалы семинара". 

А это может сделать уже любой выпускник психфака, прошедший курс тервера и матстатистики. С помощью критерия Крускала и Краскелла Уолисса.

KruskalResult(statistic=15.880403258075576, pvalue=0.0011998352099500508) 

Значимость критерия ниже необходимого нам уровня в 0, 05 и даже в 0, 01, поэтому мы можем утверждать, что на семинаре "Навыки проведения презентации" тема материалов семинара поднималась в отзывах участников значимо чаще. Отсюда следующие шаги:

1. мы проводим анализ тональности текста (отвечаем на вопрос, были ли эти отзывы чаще позитивными или негативным);
2. даем обратную связь тренеру / преподавателю или принимаем решение о дальнейшей работе с ним.

Все. От профи по машинному обучению хочу услышать предложения, как можно сделать проще то, что я понаделал. Ибо я только начинаю тут шаги делать, а от коллег по HR хотелось бы услышать про перспективы применимости услышать. Спасибо. 

Понравился пост?

если Вы захотите выразить мне благодарность за интересный пост, вы можете перевести небольшую сумму мне на Яндекс кошелек (кликните по кнопке Перевести) 

или сделать перевод на карту Сбербанка,

Номер карты 676 280 38 921 538 46 57 

Или просто покликайте на директ рекламу ниже на странице - у вас это отнимет несколько секунд, а мне принесет немного денег. 

спасибо!