Перевод статьи How to understand open-question employee feedback в рамках нашего проекта переводы статей по hr-аналитике на английском. Автор - Andrew Marritt
Перевод сделала Арлашкина Ольга (профили в социальных сетях: LinkedIn, Facebook, Вконтакте), кандидат социологических наук, HR консультант, разработчик и преподаватель курсов высшего и дополнительного образования для специалистов по управлению персоналом. Автор более 20 публикаций (статьи, учебные пособия) по менеджменту, социологии, управлению человеческими ресурсами. В HR-профессии с 2001 года. Это пятый перевод Ольги в нашем блоге. См. также
- Вовлеченность персонала 3.0: Humu запускает Nudge Engine («инструмент подталкивания»)
- Джош Берзин переосмысливает лидерство
- Использование анализа текстов сотрудников для достижения бизнес-результатов
- Стоит ли внедрять ПО с искусственным интеллектом в системы оплаты труда?
Итак,
Как интерпретировать обратную связь от работников в ответах на открытые вопросы
Эндрю Маритт24 августа 2018 года
В распоряжении крупных организаций находится огромное количество текстовых отзывов работников, с которыми они пока мало что сделали. Часто эта информация является наиболее ценной частью вопросника или опроса, но ее интерпретация в цифрах исторически сложна и затратна по времени.
Процесс интерпретации такой обратной связи известен как «кодирование». В этом случае хороший исследователь-«качественник» пытается определить набор категорий, которые охватывают как можно больше комментариев, но не настолько, чтобы в них стало трудно ориентироваться и понимать их.
Важность вопроса и организационный контекст
Обратная связь не обязательно содержится в красиво составленных предложениях. Понимание любого ответа в значительной степени зависит от задаваемого вопроса. Люди пишут ответы, предполагая, что вы знаете заданный вопрос, и рассматриваете обратную связь через призму контекста данного вопроса.
Учитывая это, имеет смысл проводить разработку набора тем из ответа на конкретный вопрос в контексте задаваемого вопроса. Общие модели сложно сделать точными. Вот почему хорошие модели текстовой аналитики обычно используются в узких областях.
В компаниях вам также необходимо понимать организационный контекст. Организации разрабатывают свой собственный язык. Часто это внутренний жаргон, названия проектов и технологий. Иногда это слова, которые используются для разных целей и в разных значениях. Сотрудники одного из наших клиентов говорят о «заработной плате», в то время как большинство говорит о «численности персонала» (потому что, если у них больше денег на оплату труда, они могут позволить себе взять на работу больше сотрудников). Качественные модели должны изучать этот язык.
Темы, а не тематика
Хороший набор категорий должен быть понятен без необходимости читать лежащие в основе ответы (хотя, конечно, вам, скорее всего, захочется дать пользователям возможность перейти к ним, если они того пожелают). Метки темы должны быть хорошо характеризовать ответы на заданный вопрос.
Если мы посмотрим на типичные категории, которые инструменты опроса предоставляют в текстовой аналитике, то темы простые, состоящие из одного слова, почти всегда заставляют пользователей прочитать комментарии, чтобы понять, о чём именно идет речь. Заголовки тем, содержащие только существительные, хороши для навигации - они помогают пользователю прочесть относящиеся к ним ответы - но плохо обеспечивают понимание.
Для того, чтобы помочь в принятии решений, необходимо контекстуальная интерпретация того, что в рамках этой темы представляет интерес. Поэтому вместо тематики «общение» нам нужно добавить описание: «более регулярное общение», «меньше общения», «более прозрачное общение» и т. д.
В нашей аналитике довольно часто встречаются противоречивые темы, объединенные одной тематикой. Обнаруживается, что некоторые сотрудники хотят «больше часов», некоторые - «меньше часов», а другая группа будет говорить о «более постоянных часах». Если вы просто смотрите на заголовок - «часы» - все относящиеся к этому темы будут сгруппированы вместе. Чтобы что-либо предпринимать, вам необходимо понимать контекст.
Семантическая интерпретация, а не ключевые слова
Ранние системы кодирования текста использовали ключевые слова для определения тематики. Вы можете сделать это даже с помощью простого приложения для работы с электронными таблицами, такого как Excel. Приложения типа Wordcloud («облако слов», прим. переводчика) обычно используют этот подход.
“Облака слов” обеспечивают весьма ограниченное понимание
Для создания хороших тем важно использовать семантическую интерпретацию ответа (понимание значения слов, прим. переводчика), а не просто искать определенные слова. Так, работник может попросить «заплатить больше» или «повысить заработную плату» или «прибавить жалованье». Для читателя-человека все они попадут в одну тему, хотя слова разные. Наши алгоритмы недавно даже выделили ответ «ха-ха, повышение» как относящийся к теме увеличения заработной платы.
Планка полезности довольно высока
При создании хорошего набора категорий трудно стать полезным до тех пор, пока вы не дойдете до стадии, на которой сможете определить большинство полезных тем и удостоверитесь, что эти темы являются обобщением того текста, в который они включены.
Работая с клиентами, мы обнаружили, что уровень точности кодирования должен быть достаточно высоким, чтобы его считали ценным. В нашем случае, когда мы стараемся заменить количественные закрытые вопросы открытыми, важно иметь хорошие качественные темы, которые точно отражают смысловое и контекстуальное значение ответов.
И хотя предоставление списка тематик может показаться хорошим подходом на первоначальном этапе, реальность такова, что он не заменяет чтение ответов и поэтому не добавляет ценности.
Дедуктивное и индуктивное кодирование
Существует два основных подхода к кодированию - дедуктивный и индуктивный.
Дедуктивное кодирование начинается с предварительно установленного набора кодов. Именно это обычно используют большинство приложений по вовлеченности и даже консультанты. Вы начинаете с модели того, о чём люди, вероятно, будут говорить, а затем распределяете их тематики по категориям.
У дедуктивного кодирования есть несколько преимуществ:
- Вы знаете, что будете идентифицировать ответы по темам, которые вас интересуют
- Проще сравнивать результаты разных организаций
Однако есть несколько ключевых проблем:
- Вы можете пропустить ключевые темы. Исходя из нашего опыта, около 30% тематик типичного вопроса работнику могут не вписываться в общую модель.
- Модель кодирования имеет погрешности, поскольку темы основаны на модели аналитика, а не на взглядах сотрудников.
- Вначале требуется больше времени / ресурсов, чтобы решить, какие темы нужно искать.
- Модель реально хорошо справляется только с одним конкретным вопросом
Альтернативой дедуктивному кодированию является индуктивное кодирование. С помощью индуктивного кодирования вы начинаете с нуля, используя данные в качестве источника тем. С помощью индуктивного кодирования вы можете интерпретировать ответы на любой вопрос.
Типичный процесс создания индуктивного кода вручную:
- вы читаете некоторые из ваших ответов
- вы определяете темы (коды), которые охватывают эту выборку
- вы кодируете все свои ответы на эти темы
- вы идентифицируете комментарии, которые не смогли закодировать, и определяете новые темы
- затем вы снова перекодируете все свои ответы в соответствии новым полным набором кодов
- весь этот процесс повторяется до тех пор, пока не будут выделены все новые полезные темы.
Так, на высоком уровне, мы создаем темы с помощью Workometry, не считая того, что вместо обработки вручную с кодированием помогает набор алгоритмов.
Точность балансировки и покрытие
В любой прогностической модели у аналитика есть выбор между ложными срабатываниями и пропусками события (ошибки первого и второго рода в математической статистике, прим. переводчика). При классификации текста, если вы хотите повысить точность своего кодирования (уменьшить количество ложных срабатываний), вы повышаете риск того, что пропустите некоторые ответы в своих темах (увеличивая количество пропусков события).
Наш опыт кодирования текста заключается в том, что читатели гораздо более чувствительны к неправильной классификации ответа, чем к отсутствию его кодирования. Люди, как правило, гораздо лучше понимают, если кто-то говорит «извините, я не понимаю», отвечая на неправильно поставленный вопрос. Процесс индуктивного кодирования проходит ряд итераций, чтобы попытаться создать необходимый баланс.
Хотя кодирование может показаться легко выполнимой задачей, даже людям трудно это делать. Ряд исследований показал, что когда у вас есть несколько опытных программистов, чтобы сформировать темы для одной и той же части текста, вы получите согласие только в 80% случаев. Непротиворечивость проблематична даже на уровне отдельного программиста, поскольку его мнение будет меняться по мере того, как он будет анализировать всё большее количество отзывов. Решения на основе искусственного интеллекта будут более согласованными, чем у человека с нужными навыками.
Вместе с объемом вы получаете детализацию
Нас часто спрашивают: «Сколько разных тематик вы можете найти?». Ответ почти всегда такой: «зависит от обстоятельств».
При этом есть два ключевых фактора, от которых это зависит: сам вопрос и сколько ответов на него вы получите.
В том, что касается самого вопроса, один из главных факторов - задаешь ли ты вопрос «что хорошее вы можете отметить» или «что можно улучшить». Как правило, вы обнаружите меньше разнообразия тем в первом случае, чем во втором.
Чтобы определить вероятное количество тем, нужно прежде всего понять, как обычно распределяется объем ответов, соответствующих теме.
Если вы наметите частоту упоминаний для различных тем в вашем вопросе и упорядочите темы от самых объемных до наименее объемных, вы получите экспоненциальное распределение.
Частота упоминания темы примет форму экспоненты при сортировке от наиболее к наименее популярным ответам.
Если вместо графика количества упоминаний для каждой категории вы строите логарифм количества упоминаний, кривая становится очень близкой к прямой линии. Площадь под кривой представляет общее количество упоминаний.
Связь между количеством ответов и количеством идентифицированных тем
Пока количество тем в ответе остается неизменным при увеличении объема ответов, эффект этого в том, что кривая, представляющая взаимосвязь, ведет себя, как показано. Следствием этого является то, что упоминание любой темы увеличивается вместе с количеством идентифицированных тем.
Еще один способ обдумать эту взаимосвязь заключается в том, что по мере того, как вы получаете больше ответов, вы приобретаете способны видеть дальше по «длинному хвосту» тематических групп («длинный хвост» в данном случае - это большое количество уникальных ответов, которое дает соответствующее увеличение тем, прим. переводчика).
Объединение с другими данными
Интерпретация тем в потоке данных важна, но они действительно начинают оживать только тогда, когда вы начинаете отслеживать, где использование определенных тем становится особенно высоким или низким.
Мы создали подход автоматического обнаружения, который просматривает группы, ища необычные случаи использования определенных тем.
Один из таких примеров: понять, какие темы могут использоваться необычным способом в различных странах или отраслях. Часто тема представляется ожидаемой (например, люди, занимающиеся финансами, говорят о финансовой системе), но в других обстоятельствах это может выявить области для дальнейшего изучения. Мы полагаем, что менеджеры должны управлять исключениями.
Другое применение состоит в том, чтобы определить, какие темы тесно связаны друг с другом, иными словами, совместное появление тем. Например, вы хотели бы знать, связана ли температура в магазинах с комментариями по поводу жалоб покупателей.
Если вы задаете открытые вопросы как в рамках опроса с вопросами смешанного типа, возможно, вы захотите создать модель, которая связывает предоставление ваших тем с оценками по различным вопросам. Это может показать, что связано , например, с вовлеченностью.
И, наконец, когда текст структурирован, он может быть включен в любую другую модель прогнозирования. Вам может быть интересно понять темы ответов работников, которые, например, могут свидетельствовать о предстоящем выгорании. Наш опыт показывает, что эти точки данных часто являются одними из самых предиктивных переменных и наиболее простыми в использовании.
Как коды отвечают Workometry
Наша программа Workometry использует индуктивный подход к кодированию тем обратной связи, и поэтому ее можно применять для анализа ответов на любой вопрос. Мы изучаем темы для конкретного вопроса в конкретной организации и можем понимать многоязычную обратную связь. Постоянные клиенты извлекают выгоду из нашей способности изучать специфический для организации язык и встраивать ранее полученные знания в темы.
Как расширенное интеллектуальное решение Workometry очень хорошо масштабируется, а многие клиенты имеют дело с десятками или даже сотнями тысяч ответов на любой вопрос. Нашим ключевым отличием является способность создавать высокоточные индуктивные модели за очень короткое время.
Комментариев нет:
Отправить комментарий