Использование анализа текстов сотрудников для достижения бизнес-результатов

Перевод статьи Using employee text analytics to drive business outcomes в рамках нашего проекта переводы статей по hr-аналитике на английском. Автор - David Green (по ссылке - все статьи автора в нашем блоге), Давид Грин берет интервью у Andrew Marritt - одного из самого известного в HR среде аналитика в области анализа текстов, см, напр Как использование методов анализа текста изменяет опросы сотрудников
Перевод сделала Арлашкина Ольга (профили в социальных сетях:  LinkedIn, Facebook, Вконтакте), кандидат социологических наук, HR консультант, разработчик и преподаватель курсов высшего и дополнительного образования для специалистов по управлению персоналом. Автор более 20 публикаций (статьи, учебные пособия) по менеджменту, социологии, управлению человеческими ресурсами. В HR-профессии с 2001 года. Это третий перевод Ольги в нашем блоге. См. также

• Вовлеченность персонала 3.0: Humu запускает Nudge Engine («инструмент подталкивания»)
• Джош Берзин переосмысливает лидерство

Итак,

Использование анализа текстов сотрудников  для достижения бизнес-результатов

Рис. 1. Примеры вопросов по бизнесу, на которые можно было бы ответить, используя анализ текстов (источник: Эндрю Маррит , ORGANIZATION VIEW)

Как указано в статье, опубликованной ранее в этом году Бернардом Марром, 90% мировых данных были получены только за последние два года. Бòльшая часть этих данных представляет собой неструктурированные данные (в основном текстовые, но также изображения, видео и т. д.), которые, в основном, остаются неиспользованными большинством организаций, особенно, когда речь идет о данных по управлению персоналом и человеческими ресурсами.
При возможностях, предоставляемых «текстовой аналитикой» (text analytics, англ.; в качестве перевода данного термина будет также использоваться понятие «анализ текстов», прим. переводчика), неудивительно, что команды аналитиков и HR-лидеры ищут способы использовать эти данные для поддержки своей работы.
Эндрю Марритт (Andrew Marritt), один из ведущих экспертов в области анализа текстов с точки зрения данных о персонале, более десяти лет проработавший в области HR-аналитики, является популярным спикером конференций, а также основателем и генеральным директором Organization View, компании по аналитике данных о персонале, расположенной в Швейцарии. Его продукт Workometry используется постоянно растущим числом компаний для извлечения такой информации из текстов сотрудников, которая оказывает влияние на результаты работы бизнеса и персонала.
Недавно я провел с Эндрю некоторое время, чтобы обсудить возможности, предоставляемые текстовой аналитикой, примеры кейс-стади и рекомендации для HR-практиков и команд по HR-аналитике.

1. Эндрю, добро пожаловать на myhrfuture, во-первых, пожалуйста, не могли бы вы дать определение текстовой аналитики?

Текстовая аналитика - это применение алгоритмов для обработки текстовой информации. Когда люди говорят о взрывном росте данных, рост происходит главным образом в неструктурированных данных - текст, изображения, аудио, видео – это не классические «числа» в базах данных. Для компаний, вероятно, наиболее распространенным типом неструктурированных данных является текст.
С помощью текстовой аналитики мы превращаем эти качественные неструктурированные данные в количественные структурированные данные. Сделав это, мы уже можем применить к ним все виды статистического или машинного анализа.
Есть два основных типа квантификации (квантификация – это сведение качественных характеристик к количественным, прим. переводчика), которые мы делаем:

• кодирование или классификация текста, что дает нам количественные данные 
• скоринг (оценка, ранжирование, прим переводчика) текста  - например, анализ чувств или эмоций - где мы получаем вероятность или оценочные данные.

2. Почему использование текстовой аналитики в компаниях растёт?

Анализ текстов предоставляет для компаний огромные возможности. Во-первых, в большинстве случаев текстовые данные не анализируются. Но это, как правило, действительно богатые данные, и, учитывая, что они не были проанализированы, в них можно найти много потенциально полезного. Во-вторых, мы можем сопоставить их с тем, что можно выявить с помощью традиционных количественных данных. Во многих случаях они уже неоднократно анализировались, и аналитики, как правило, получают снижение предельных доходов. В-третьих, как я уже упоминал ранее, текст представляет собой самый обширный источник данных в большинстве компаний, а также, вероятно, самый богатый.

3. Каковы примеры использования анализа текстов в рамках hr-аналитики?

У HR-ов много текстов. На мой взгляд, стоит подумать о текстовой аналитике на двух уровнях:

1. Какую информацию (англ. insight, прим. переводчика) вы можете получить из структурирования данных?
2. Если у вас есть структурированные данные, что вы можете с ними сделать?

Тип данных, которые мы видим в большинстве случаев, берется из какой-то анкеты. Только примерно 30% вопросов в анкетах являются типичными вопросами о «вовлеченности». Около 50% вопросов сотрудникам задаются о бизнес-задачах – это так называемый «голос работника» (англ. Employee Voice, прим. переводчика), остальное - это темы, которые интересуют HR-департаменты, такие как управление результативностью, управленческая эффективность или разнообразие.
За пределами данных опросов мы видим большой интерес к данным системы управления результативностью (англ. performance management, прим. переводчика). Мы провели анализ данных оценки 360 °, чтобы найти различия в гендерно ориентированных темах, а также анализ целей, чтобы увидеть, как инициативы руководства высшего уровня распределяются по уровням организации. Всё чаще мы находимся в поиске потребностей развития, чтобы определить, могут ли компании понять, что сотрудники хотели бы получить от обучения. Могут ли они оптимизировать доступность учебных курсов, чтобы они предлагались близко к спросу (сокращая расходы на поездки)? Можем ли мы создать механизм прогнозирования, который будет рекомендовать курсы, прежде чем кто-то включит их в организационный перечень?
Наконец, есть много других источников в HR-департаментах, где генерируется текст. Мы проводим анализ запросов в / из службы поддержки HR, определяя шаблоны гораздо более детально, чем когда-либо можно было бы понять с помощью структурированного сбора данных. Мы надеемся, что эта информация послужит основой для ряда изменений, в совершенствовании результативности, улучшающих сервисы и снижающих затраты.

Рис. 2. Обзор тематизации текстов в Workometry (источник: Эндрю Маррит , ORGANIZATION VIEW)

Перевод рис. 2

4. Какие ключевые проблемы hr-отделам  и командам по hr-аналитике необходимо преодолеть отношение к текстовой аналитике?

Самая большая проблема - это расстояние, которое вам нужно преодолеть, прежде чем текстовая аналитика действительно станет полезной.

Мы считаем, что наиболее важным аспектом хорошего анализа является контекст. Это включает в себя требование о том, что текст должен быть проанализирован в контексте задаваемого вопроса. Кроме того, необходимо включить в понимание текста контекст организации, плюс это также контекст того, о чем еще говорят люди.

Распространенным способом анализа текстов является определение тем - например, коммуникация или вознаграждение. Однако наш опыт показывает, что это редко бывает достаточно полезным. Мы считаем, что данные должны быть категоризированы до уровня, когда название самой темы является хорошим ответом на вопрос. Так, коммуникация может быть «более прозрачной коммуникацией» или «более частой коммуникацией с руководством», «большей коммуникацией между подразделениями», «меньшей электронной коммуникацией» или даже «меньшей коммуникацией в выходные дни».

Еще одна большая проблема заключается в том, что каждая организация имеет свой собственный язык. Иногда это проявляется в широком использовании акронимов – мы использовали их во внутренней сети, определяя многие из вещей, когда я работал в Reuters (акроним - аббревиатура, образованная из начальных букв, частей слов или словосочетаний, произносимая как единое слово, прим. переводчика). В других случаях это может быть способ, с помощью которого внутри фирмы употребляются слова. Менеджеры одного компании говорят о желании увеличить фонд заработной платы, кто время как большинство других компаний описывают то же самое, как желание увеличить численность персонала. Наш опыт показывает, что при построении моделей на уровне компании всегда можно добиться значительных улучшений, если изучить терминологию.

Наконец, классные модели хорошо работают в отношении одной проблемы, но они являются обобщающими. Сотрудники редко пишут предложениями, они ожидают, что вы интерпретируете их ответ в контексте задаваемого вопроса. Один и тот же текст может иметь разные значения в зависимости от вопроса. Мы сомневаемся, что такого рода анализ текстов, используемый в некоторых HR-технологиях, можно обобщить.

Конечно, я даже не упомянул «нормальные» проблемы с данными, такие как время, необходимое для очистки и предварительной обработки данных. Это может быть чрезвычайно сложно в отношении анализа текстов. Определение того, в каких частях документа нужно искать соответствующие данные - так называемое зонирование, - это то, на чем мы не фокусируемся, но является важным, если вы, например, хотите прочитать резюме.

5. Не могли бы вы привести некоторые примеры того, как организации использовали текст работника.

Давайте возьмем два конкретных примера, оба из которых имели важное значение.

Один - от розничной компании, которая проводила регулярные пульс-опросы. В одном квартале мы увидели огромный всплеск числа сотрудников, говорящих о музыке, которая играла в магазине. Мы заметили, что эти сотрудники также чаще говорили о жалобах клиентов. Люди, которые делали комментарии, были значительно более вовлечены, чем средний сотрудник, но они также говорили о том, что компания устарела, а руководство не прислушивается.

По некоторым из комментариев стало очевидно, что произошло. В поисках экономии средств было принято решение заменить музыку в магазине музыкой с более низкими лицензионными затратами. Как только руководство увидело комментарии, оно отменило решение.

В следующем месяце мы снова увидели много комментариев о музыке, но на этот раз сотрудники благодарили менеджеров за то, что они сменили музыку и прислушались к их мнению.

Другой пример связан с новым генеральным директором глобальной компании. В своем первом обращении к персоналу он объявил о своем намерении потратить первые несколько месяцев на изучение бизнеса и предложил всем сотрудникам сообщить ему, что, по их мнению, он должен решить. Он получил тысячи сообщений на разных языках.

Мы были приглашены директором по стратегии, чтобы проанализировать эту обратную связь. Одна из вещей, которую мы определили, была тема о плохих контрактах / проектах. Когда мы связали данные с организационной структурой, мы поняли, что большинство этих комментариев исходили от небольшой части ИТ-организации. Оказалось, что был контракт с крупной внешней фирмой - десятки миллионов долларов в годовом исчислении, - о котором собственные специалисты по данным фирмы знали, что там заложены большие ошибки, и поэтому он вряд ли будет работать так, как ожидалось. В этом случае тот факт, что проблема была прозрачной для исполнителей, означал, что они были в состоянии исследовать ситуацию и устранить риск на достаточно ранней стадии.

В обоих случаях было затронуто несколько тем. Менеджеры нашли вопросы, которые они, вероятно, никогда бы не подумали задать, если бы они разрабатывали структурированный «традиционный» опрос

Это связывание данных обратной связи с другими данными предоставило много контекста и переквалифицировало комментарии от случайных к чему-то, что требовало дополнительного изучения. Можете думать об этом, как о нахождении иголки в стоге сена. Сами комментарии дали хорошее представление о том, что было проблемой, и что нужно было сделать, чтобы решить проблему.

6. Каковы три ключевых рекомендации, которые вы предложили бы hr-директору или руководителю отдела hr-аналитики, которые рассматривают возможность  использования анализа текстов работников?

Анализ текста - это одна из тех тем, которую довольно легко начать, но трудно достичь той стадии, на которой она может быть полезна.

1. Многие аналитики данных и ИТ-специалисты скажут, что могут это сделать, но лишь немногие из них будут обладать навыками и знаниями, чтобы определить то, где это может быть полезно. Вам нужно поговорить с несколькими экспертами. Они должны быть в состоянии получить результаты довольно быстро, потому что у них уже есть ключевые средства получения информации, правильно выстроенные и усовершенствованные.
2. Будьте готовы выбрать сначала «легкие» проекты. Я думаю, что все, что требует зонирования - особенно в документах, не имеющих общей структуры – это то, чего вам следует избегать и / или найти профессионала, который специализируется на таком типе документов. Более специфичный текст легче понять на достойном уровне, чем текст общего характера.
3. Спросите себя, что бы вы хотели найти, если бы анализировали данные вручную. Вы действительно хотите оценить каждое предложение по шкале эмоций? Вы хотите, чтобы предложения были сгруппированы в более крупные темы? Что сделало бы эти темы полезными? На многих людей оказывает влияние то, что является возможным, например, оценка чувств или эмоций - а не то, что они на самом деле делали бы, если бы имели квалифицированного качественного исследователя для выполнения этой работы. Например, почти всегда лучше получить оценку чувств из структурированного количественного опроса, чем выводить ее из текста.

Рис. 3. Пример сети «совместного проявления», которая показывает темы, которые чаще всего упоминаются вместе у индивидов, на основе оценки вероятности общего между ними.

7. Где люди могут узнать больше о текстовой аналитике?

Большая часть написанного об анализе текстов из того, что я видел, довольно техническая. Дисциплина меняется так быстро, что нам приходится читать большое количество статей, чтобы не отставать. Поскольку современные методы работы с текстом основаны на моделях глубокого обучения, они требуют довольно серьезного технического и математического понимания.

Я включил еще несколько статей, посвященных бизнесу, в последние выпуски нашего информационного бюллетеня Empirical HR:

1. Подкаст от Microsoft Research по машинному переводу. 
2. История машинного перевода. Хотя статья сосредоточена только на переводе, способ, которым описывается перевод, соответствует многим другим темам анализа текстов. 
3. Обзор новейшей истории обработки естественного языка. Нелегко понять без некоторых знаний, но очень тщательно раскрыто.  

Наконец, если у кого-то есть большой объем текста по определенной теме (например, более 1000 текстовых ответов на конкретный открытый вопрос), с которым они столкнулись. В зависимости от варианта использования мы обычно можем развернуть пилотажное исследование за несколько дней.

Спасибо, Эндрю.

Спасибо, Эндрю, за то, что поделились своим временем, идеями и обширными знаниями. Еженедельный информационный бюллетень Эндрю «Empirical HR» всегда достоин прочтения и охватывает HR-аналитику, опыт сотрудников и многие другие темы, равно как и последние новости текстовой аналитики. Я настоятельно рекомендую вам подписаться на него.