Использование анализа текстов сотрудников для достижения бизнес-результатов

Перевод статьи Using employee text analytics to drive business outcomes в рамках нашего проекта переводы статей по hr-аналитике на английском. Автор - David Green (по ссылке - все статьи автора в нашем блоге), Давид Грин берет интервью у Andrew Marritt - одного из самого известного в HR среде аналитика в области анализа текстов, см, напр Как использование методов анализа текста изменяет опросы сотрудников
Перевод сделала Арлашкина Ольга (профили в социальных сетях:  LinkedIn, Facebook, Вконтакте), кандидат социологических наук, HR консультант, разработчик и преподаватель курсов высшего и дополнительного образования для специалистов по управлению персоналом. Автор более 20 публикаций (статьи, учебные пособия) по менеджменту, социологии, управлению человеческими ресурсами. В HR-профессии с 2001 года. Это третий перевод Ольги в нашем блоге. См. также

• Вовлеченность персонала 3.0: Humu запускает Nudge Engine («инструмент подталкивания»)
• Джош Берзин переосмысливает лидерство

Итак,

Использование анализа текстов сотрудников  для достижения бизнес-результатов

Рис. 1. Примеры вопросов по бизнесу, на которые можно было бы ответить, используя анализ текстов (источник: Эндрю Маррит , ORGANIZATION VIEW)

Как указано в статье, опубликованной ранее в этом году Бернардом Марром, 90% мировых данных были получены только за последние два года. Бòльшая часть этих данных представляет собой неструктурированные данные (в основном текстовые, но также изображения, видео и т. д.), которые, в основном, остаются неиспользованными большинством организаций, особенно, когда речь идет о данных по управлению персоналом и человеческими ресурсами.
При возможностях, предоставляемых «текстовой аналитикой» (text analytics, англ.; в качестве перевода данного термина будет также использоваться понятие «анализ текстов», прим. переводчика), неудивительно, что команды аналитиков и HR-лидеры ищут способы использовать эти данные для поддержки своей работы.
Эндрю Марритт (Andrew Marritt), один из ведущих экспертов в области анализа текстов с точки зрения данных о персонале, более десяти лет проработавший в области HR-аналитики, является популярным спикером конференций, а также основателем и генеральным директором Organization View, компании по аналитике данных о персонале, расположенной в Швейцарии. Его продукт Workometry используется постоянно растущим числом компаний для извлечения такой информации из текстов сотрудников, которая оказывает влияние на результаты работы бизнеса и персонала.
Недавно я провел с Эндрю некоторое время, чтобы обсудить возможности, предоставляемые текстовой аналитикой, примеры кейс-стади и рекомендации для HR-практиков и команд по HR-аналитике.

1. Эндрю, добро пожаловать на myhrfuture, во-первых, пожалуйста, не могли бы вы дать определение текстовой аналитики?

Текстовая аналитика - это применение алгоритмов для обработки текстовой информации. Когда люди говорят о взрывном росте данных, рост происходит главным образом в неструктурированных данных - текст, изображения, аудио, видео – это не классические «числа» в базах данных. Для компаний, вероятно, наиболее распространенным типом неструктурированных данных является текст.
С помощью текстовой аналитики мы превращаем эти качественные неструктурированные данные в количественные структурированные данные. Сделав это, мы уже можем применить к ним все виды статистического или машинного анализа.
Есть два основных типа квантификации (квантификация – это сведение качественных характеристик к количественным, прим. переводчика), которые мы делаем:

• кодирование или классификация текста, что дает нам количественные данные 
• скоринг (оценка, ранжирование, прим переводчика) текста  - например, анализ чувств или эмоций - где мы получаем вероятность или оценочные данные.

2. Почему использование текстовой аналитики в компаниях растёт?

Анализ текстов предоставляет для компаний огромные возможности. Во-первых, в большинстве случаев текстовые данные не анализируются. Но это, как правило, действительно богатые данные, и, учитывая, что они не были проанализированы, в них можно найти много потенциально полезного. Во-вторых, мы можем сопоставить их с тем, что можно выявить с помощью традиционных количественных данных. Во многих случаях они уже неоднократно анализировались, и аналитики, как правило, получают снижение предельных доходов. В-третьих, как я уже упоминал ранее, текст представляет собой самый обширный источник данных в большинстве компаний, а также, вероятно, самый богатый.

3. Каковы примеры использования анализа текстов в рамках hr-аналитики?

У HR-ов много текстов. На мой взгляд, стоит подумать о текстовой аналитике на двух уровнях:

1. Какую информацию (англ. insight, прим. переводчика) вы можете получить из структурирования данных?
2. Если у вас есть структурированные данные, что вы можете с ними сделать?

Тип данных, которые мы видим в большинстве случаев, берется из какой-то анкеты. Только примерно 30% вопросов в анкетах являются типичными вопросами о «вовлеченности». Около 50% вопросов сотрудникам задаются о бизнес-задачах – это так называемый «голос работника» (англ. Employee Voice, прим. переводчика), остальное - это темы, которые интересуют HR-департаменты, такие как управление результативностью, управленческая эффективность или разнообразие.
За пределами данных опросов мы видим большой интерес к данным системы управления результативностью (англ. performance management, прим. переводчика). Мы провели анализ данных оценки 360 °, чтобы найти различия в гендерно ориентированных темах, а также анализ целей, чтобы увидеть, как инициативы руководства высшего уровня распределяются по уровням организации. Всё чаще мы находимся в поиске потребностей развития, чтобы определить, могут ли компании понять, что сотрудники хотели бы получить от обучения. Могут ли они оптимизировать доступность учебных курсов, чтобы они предлагались близко к спросу (сокращая расходы на поездки)? Можем ли мы создать механизм прогнозирования, который будет рекомендовать курсы, прежде чем кто-то включит их в организационный перечень?
Наконец, есть много других источников в HR-департаментах, где генерируется текст. Мы проводим анализ запросов в / из службы поддержки HR, определяя шаблоны гораздо более детально, чем когда-либо можно было бы понять с помощью структурированного сбора данных. Мы надеемся, что эта информация послужит основой для ряда изменений, в совершенствовании результативности, улучшающих сервисы и снижающих затраты.

Рис. 2. Обзор тематизации текстов в Workometry (источник: Эндрю Маррит , ORGANIZATION VIEW)

Перевод рис. 2

4. Какие ключевые проблемы hr-отделам  и командам по hr-аналитике необходимо преодолеть отношение к текстовой аналитике?

Самая большая проблема - это расстояние, которое вам нужно преодолеть, прежде чем текстовая аналитика действительно станет полезной.

Мы считаем, что наиболее важным аспектом хорошего анализа является контекст. Это включает в себя требование о том, что текст должен быть проанализирован в контексте задаваемого вопроса. Кроме того, необходимо включить в понимание текста контекст организации, плюс это также контекст того, о чем еще говорят люди.

Распространенным способом анализа текстов является определение тем - например, коммуникация или вознаграждение. Однако наш опыт показывает, что это редко бывает достаточно полезным. Мы считаем, что данные должны быть категоризированы до уровня, когда название самой темы является хорошим ответом на вопрос. Так, коммуникация может быть «более прозрачной коммуникацией» или «более частой коммуникацией с руководством», «большей коммуникацией между подразделениями», «меньшей электронной коммуникацией» или даже «меньшей коммуникацией в выходные дни».

Еще одна большая проблема заключается в том, что каждая организация имеет свой собственный язык. Иногда это проявляется в широком использовании акронимов – мы использовали их во внутренней сети, определяя многие из вещей, когда я работал в Reuters (акроним - аббревиатура, образованная из начальных букв, частей слов или словосочетаний, произносимая как единое слово, прим. переводчика). В других случаях это может быть способ, с помощью которого внутри фирмы употребляются слова. Менеджеры одного компании говорят о желании увеличить фонд заработной платы, кто время как большинство других компаний описывают то же самое, как желание увеличить численность персонала. Наш опыт показывает, что при построении моделей на уровне компании всегда можно добиться значительных улучшений, если изучить терминологию.

Наконец, классные модели хорошо работают в отношении одной проблемы, но они являются обобщающими. Сотрудники редко пишут предложениями, они ожидают, что вы интерпретируете их ответ в контексте задаваемого вопроса. Один и тот же текст может иметь разные значения в зависимости от вопроса. Мы сомневаемся, что такого рода анализ текстов, используемый в некоторых HR-технологиях, можно обобщить.

Конечно, я даже не упомянул «нормальные» проблемы с данными, такие как время, необходимое для очистки и предварительной обработки данных. Это может быть чрезвычайно сложно в отношении анализа текстов. Определение того, в каких частях документа нужно искать соответствующие данные - так называемое зонирование, - это то, на чем мы не фокусируемся, но является важным, если вы, например, хотите прочитать резюме.

5. Не могли бы вы привести некоторые примеры того, как организации использовали текст работника.

Давайте возьмем два конкретных примера, оба из которых имели важное значение.

Один - от розничной компании, которая проводила регулярные пульс-опросы. В одном квартале мы увидели огромный всплеск числа сотрудников, говорящих о музыке, которая играла в магазине. Мы заметили, что эти сотрудники также чаще говорили о жалобах клиентов. Люди, которые делали комментарии, были значительно более вовлечены, чем средний сотрудник, но они также говорили о том, что компания устарела, а руководство не прислушивается.

По некоторым из комментариев стало очевидно, что произошло. В поисках экономии средств было принято решение заменить музыку в магазине музыкой с более низкими лицензионными затратами. Как только руководство увидело комментарии, оно отменило решение.

В следующем месяце мы снова увидели много комментариев о музыке, но на этот раз сотрудники благодарили менеджеров за то, что они сменили музыку и прислушались к их мнению.

Другой пример связан с новым генеральным директором глобальной компании. В своем первом обращении к персоналу он объявил о своем намерении потратить первые несколько месяцев на изучение бизнеса и предложил всем сотрудникам сообщить ему, что, по их мнению, он должен решить. Он получил тысячи сообщений на разных языках.

Мы были приглашены директором по стратегии, чтобы проанализировать эту обратную связь. Одна из вещей, которую мы определили, была тема о плохих контрактах / проектах. Когда мы связали данные с организационной структурой, мы поняли, что большинство этих комментариев исходили от небольшой части ИТ-организации. Оказалось, что был контракт с крупной внешней фирмой - десятки миллионов долларов в годовом исчислении, - о котором собственные специалисты по данным фирмы знали, что там заложены большие ошибки, и поэтому он вряд ли будет работать так, как ожидалось. В этом случае тот факт, что проблема была прозрачной для исполнителей, означал, что они были в состоянии исследовать ситуацию и устранить риск на достаточно ранней стадии.

В обоих случаях было затронуто несколько тем. Менеджеры нашли вопросы, которые они, вероятно, никогда бы не подумали задать, если бы они разрабатывали структурированный «традиционный» опрос

Это связывание данных обратной связи с другими данными предоставило много контекста и переквалифицировало комментарии от случайных к чему-то, что требовало дополнительного изучения. Можете думать об этом, как о нахождении иголки в стоге сена. Сами комментарии дали хорошее представление о том, что было проблемой, и что нужно было сделать, чтобы решить проблему.

6. Каковы три ключевых рекомендации, которые вы предложили бы hr-директору или руководителю отдела hr-аналитики, которые рассматривают возможность  использования анализа текстов работников?

Анализ текста - это одна из тех тем, которую довольно легко начать, но трудно достичь той стадии, на которой она может быть полезна.

1. Многие аналитики данных и ИТ-специалисты скажут, что могут это сделать, но лишь немногие из них будут обладать навыками и знаниями, чтобы определить то, где это может быть полезно. Вам нужно поговорить с несколькими экспертами. Они должны быть в состоянии получить результаты довольно быстро, потому что у них уже есть ключевые средства получения информации, правильно выстроенные и усовершенствованные.
2. Будьте готовы выбрать сначала «легкие» проекты. Я думаю, что все, что требует зонирования - особенно в документах, не имеющих общей структуры – это то, чего вам следует избегать и / или найти профессионала, который специализируется на таком типе документов. Более специфичный текст легче понять на достойном уровне, чем текст общего характера.
3. Спросите себя, что бы вы хотели найти, если бы анализировали данные вручную. Вы действительно хотите оценить каждое предложение по шкале эмоций? Вы хотите, чтобы предложения были сгруппированы в более крупные темы? Что сделало бы эти темы полезными? На многих людей оказывает влияние то, что является возможным, например, оценка чувств или эмоций - а не то, что они на самом деле делали бы, если бы имели квалифицированного качественного исследователя для выполнения этой работы. Например, почти всегда лучше получить оценку чувств из структурированного количественного опроса, чем выводить ее из текста.

Рис. 3. Пример сети «совместного проявления», которая показывает темы, которые чаще всего упоминаются вместе у индивидов, на основе оценки вероятности общего между ними.

7. Где люди могут узнать больше о текстовой аналитике?

Большая часть написанного об анализе текстов из того, что я видел, довольно техническая. Дисциплина меняется так быстро, что нам приходится читать большое количество статей, чтобы не отставать. Поскольку современные методы работы с текстом основаны на моделях глубокого обучения, они требуют довольно серьезного технического и математического понимания.

Я включил еще несколько статей, посвященных бизнесу, в последние выпуски нашего информационного бюллетеня Empirical HR:

1. Подкаст от Microsoft Research по машинному переводу. 
2. История машинного перевода. Хотя статья сосредоточена только на переводе, способ, которым описывается перевод, соответствует многим другим темам анализа текстов. 
3. Обзор новейшей истории обработки естественного языка. Нелегко понять без некоторых знаний, но очень тщательно раскрыто.  

Наконец, если у кого-то есть большой объем текста по определенной теме (например, более 1000 текстовых ответов на конкретный открытый вопрос), с которым они столкнулись. В зависимости от варианта использования мы обычно можем развернуть пилотажное исследование за несколько дней.

Спасибо, Эндрю.

Спасибо, Эндрю, за то, что поделились своим временем, идеями и обширными знаниями. Еженедельный информационный бюллетень Эндрю «Empirical HR» всегда достоин прочтения и охватывает HR-аналитику, опыт сотрудников и многие другие темы, равно как и последние новости текстовой аналитики. Я настоятельно рекомендую вам подписаться на него.

Как использование методов анализа текста изменяет опросы сотрудников

Перевод статьи How text analytics is changing the employee survey. Автор - рекомендуемый мною Эндрю Марритт (Andrew Marritt). Он уже переводился у нас в блоге несколько раз, см. Неосознанная предвзятость? Использование аналитики текста для понимания гендерных различий в оценке эффективности работы
Перевод выполнила Ирина Тимофеева, специалист по T&D из Санкт-Перебурга. Ссылка ведет на профиль в фейсбуке. Это уже второй перевод Ирины, см. также Как дорого обходится текучесть персонала? Бизнес-кейс
Перевод выполнен в рамках нашего проекта переводы статей по hr-аналитике на английском.
Итак,

Как использование методов анализа текста изменяет опросы сотрудников

В своей последней статье я рассказывал о процессе, который повышает и понижает вовлеченность персонала и как это можно использовать наиболее эффективным лидерам для долгосрочных изменений. В этой статье я рассмотрю смежный вопрос – что нам нужно изменить?
Мы, аналитики из OrganizationView, провели множество исследований за последние 6 лет.  За это время мы пришли к выводу, что развернутые письменные комментарии от сотрудников являются важным источником информации для управления. Проблема же состояла в том, как справиться с этими десятками тысяч комментариев на разных языках. Именно это и стало одной из причин, стоящим за нашим решением создать Workometry - нашу платформу по сбору обратной связи от сотрудников.
До появления надежной текстовой аналитики, анализ текстовых комментариев требовал значительных временных и денежных затрат. В значительной степени именно из-за этих ограничений появилось большинство методов опроса сотрудников. Аналогично тому как изменились подходы к статистике в связи с появлением широкого выбора легкодоступной вычислительной технике и меньшими затратами на получение данных, мы ожидаем, что измениться подход к пониманию сотрудников благодаря доступности текстовой аналитики.
Используя текстовые комментарии, мы делаем две вещи: первое – разделяем текст на одну или несколько тем, и второе - разносим текст по каким либо уровням или шкалам, например по уровню отношения к теме. Когда мы разделяем текст по подтемы – мы не просто привязываемся к словам, мы идем глубже. Мы смотрим в двух направлениях – сама тема (например, карьерное планирование) и ее контекст (например,  его отсутствие). Это нечто большее, чем просто поиск по ключевому слову. Мы привязываемся не просто к словам, мы создаем множественные связи. Все это дает нам дополнительную информацию относительно нашего текста.
Далее, мы можем применить к этим данным различные статистические методы. Как правило, мы выделяем 40-60 различных тем из ответа на любой текстовый вопрос.  А это эквивалентно добавлению 40-60 вопросов к самому опросу!  Благодаря такому подходу мы можем проводить более короткие опросы с сохранением частоты ответов респондентов и одновременно получать более обширные данные. При этом мы используем «бесконтрольный» подход, означающий, что темы предлагаются данными, а не закодированы предварительно на основе общих результатов. Одной из причин, по которой мы проводим такой анализ, является привлечение внимания менеджеров к той части информации, на которой они должны сосредоточиться.  В настоящее время мы делаем это, комбинируя эти две техники.
Одним из неоспоримых плюсов работы с данными сотрудников состоит в том, что мы, в большинстве случаев, имеем обширные данные о сотрудниках – кто они, какую роль они играют в компании, с кем они работают, как они работают и другие ключевые кадровые события (смена работы, повышение заработной платы и т.п.). Связывая эти данные с результатами опроса, позволяет нам получить более глубокое понимание о результатах, чем если бы мы просто анализировали данные опроса сами по себе. С помощью Workometry мы создаем прогностические модели для определения того, какие группы сотрудников вероятнее всего будут обсуждать какую тему. Также, мы можем объединить информацию из HR-систем, бизнес-систем и результаты опросов, проведенных в разное время – и посмотреть на отношение сотрудников, например, к процессу адаптации. В последствии, эти модели можно визуализировать, сфокусировав внимание менеджеров на наиболее интересных группах или результатах. Интерактивное представленные данных позволяет пользователю развернуть их по новому, посмотреть на них под новым углом, и, в конечном счете, увидеть, что скрывается за текстовыми комментариями.
Еще один очень простой, но, по нашему опыту, действенный способ посмотреть на текстовые данные по-новому –  это определить какие темы обсуждаются сотрудниками с высоким и низким уровнем вовлеченности. Вы видим четкую закономерность – требования к работе является транзакционной составляющей, влияющей на  вовлеченность людей. Это соответствует тем данным, которые мы получаем, при проведении интервью с сотрудниками при увольнении.  Мы четко видим два этапа в этом процессе – сначала идет снижение вовлеченности, а затем сотрудники уходят. Это подтверждает модель динамики систем, о которой я говорил в прошлой статье.
И напоследок, анализируя текстовые комментарии таким образом мы обнаружили, что текст дает информацию об изменениях намного раньше, чем опросы с использованием шкал при ответах. Так, для одного из наших клиентов мы увидели изменения в комментариях о технологиях на 3 месяца раньше, чем мы увидели те же изменения в опросе с использованием вопросов со шкалой оценки. Такой способ получения информации позволяет менеджерам замечать и исправлять проблемы в самом из зачатке, и именно это должно рассматриваться как ключевое преимущество сбора и анализа текста.
__________________________________________________________
На этом все, читайте нас в телеграмме

Неосознанная предвзятость? Использование аналитики текста для понимания гендерных различий в оценке эффективности работы.

Перевод статьи Андрю Марритта Unconscious bias? Using text analytics to understand gender differences in performance reviews. Статьи автора уже несколько раз переводили (см. например В опросы следует включать больше открытых вопросов). Андрю Марритт - одна из ключевых фигур HR-аналитики, его статьи обязательны к прочтению
А перевод данной статьи сделала Екатерина Рыбакова, HR в крупной компании (направление e-commerce), для потенциальных работодателей: профиль Екатерины в фейсбук, профиль в Линкедине
В рамках нашего проекта переводы статей по hr-аналитике на английском
Workometry, упоминаемый в статье, инструмент анализа обратной связи на основе открытых вопросов, можем применяться для анализа обратной связи как клиентов, таки персонала.
Итак

Неосознанная предвзятость? Использование аналитики текста для понимания гендерных различий в оценке эффективности работы.

В начале этого года мы провели анализ комментариев в оценке эффективности работы для крупной европейской промышленной фирмы. Целью работы было выявить, можем ли мы выявить гендерные предубеждения в языке, используемый менеджерами, и различия в том, как мужчины и женщины говорят об их собственной эффективности.
В последнее время были ряд статей, исследующих такую же проблему. В статье в Fortune Kieran Snyder сообщила, что успешные женщины были охарактеризованы как более резкие, чем мужчины. В более недавней статье в HBR Shelley Correll и Caroline Simard отметили, что женщины с большей вероятностью получат неопределенную обратную связь. Они также сообщили, что большинство упоминаний о том, что они «слишком агрессивны», были замечены в отзывах женщин.
Статья в Fortune была основана на маленькой выборке - 180 человек, из которых 105 мужчин и 75 женщин. В статье HBR не упоминается, размер данных, с которым им приходилось иметь дело, хотя упоминается, что они изучили 200 отзывов в технологической компании более подробно.

В нашем анализе мы смогли изучить 36 700 комментариев менеджеров и 37 300 самооценок сотрудников. Мы использовали наше «инструмент» анализа текста, который заставляет наш продукт Workometry идентифицировать семантические темы, лежащие в основе высказываний, а затем использовать множество прогностических методов для определения тех тем, которые, скорее всего, будут использоваться женщинами и о них [о женщинах].

Помимо текста мы смогли связать демографические и структурированные данные о производительности с комментариями и, следовательно, темами. Мы связали данные о менеджере с данными сотрудника. Ниже приведены выводы некоторых важных гендерных результатов, которые мы выявили.

Тиражирование (Replicating) результатов.

Когда мы сделали это исследование, статья была опубликована в Fortune, но в HBR нет. Хотя мы старались найти примеры агрессивности или грубости, мы не смогли воспроизвести результаты, найденные Kieran. Я не могу сказать, связано ли это с нашим гораздо более обширным размером данных, или же с тем, что результаты, которые мы видели, являются спецификой фирмы (это был другой сектор).
Результаты в статье HBR имеют некоторое совпадение с тем, что мы нашли, хотя первоначально мы не интерпретировали результаты таким же образом.

Необходимость контролировать множество переменных.

Одна из проблем, связанных с многопрофильной работой по гендерному разнообразию, заключается в том, что при сравнении мужчин и женщин в фирме мы должны контролировать множество переменных. Женщины выбирают разные профессии, разные рабочие механизмы, присутствуют в разных пропорциях в разном возрасте, на верхних уровнях меньше женщин и больше на нижних. С нашими моделями мы должны были убедиться, что мы учли эти факторы, чтобы изолировать темы, которые были там из-за гендерных различий и присутствующих из-за женщин рабочих мест.

Хорошим примером является отсылка к HR системе. Наш клиент, как и большинство фирм, имел гораздо больше женщин в сфере HR, чем в других функциях (как доля людей в функции). Более административные роли в бизнесе были более склонны использовать HR системы. Эта тема была одним из самых сильных предикторов того, является ли сотрудник мужчиной / женщиной, но это был связано с аспектами работы, а не с гендерными аспектами.

Мужчины описывают чего они достигли, женщины описывают как они этого достигли.

Это то, где наша работа совпадает со статьей в HBR.  Однако, мы обнаружили, что женщины используют одинаковую терминологию как  в оценках себя, так и в оценках менеджера. Следует также отметить, что женщиной с большей вероятностью будет управлять женщина, чем мужчины (из-за гендерных различий в функциях).

Женщин в большей степени описывали как командного игрока, который будет рассматриваться как полезный и поддерживающий, а также обменивающийся знаниями с другими. Они будут принимать изменения больше, чем мужчины и будут заинтересованы в продолжении обучения.

Их менеджеры в большей степени описывали их как имеющих позитивное отношение, демонстрирующих готовность и решительность, и как тех, на кого можно положиться. Они были в большей степени готовы взять на себя ответственность, проявить усердие и были готовы взять на себя новые задачи.

Женщины гораздо чаще описывали себя как отзывчивые. Они подчеркивают помощь другим, создание ощущения комфорта для себя и других, упорный труд.

Как женщины, так и их руководители, подчеркнули некоторые общие темы, некоторые из которых в большей степени были сделаны женщинами о женщинах. Женщины рассматривались как сильные коммуникаторы и докладчики, ориентированные на задачи, работающие с высокой точностью и тщательно следующие процессам и процедурам.  Интересно, что описание, демонстрирующее аналитическое мышление, было более характерно для женщин.

Трудно разделить язык бизнеса и язык мужчин.

Здесь наш анализ и публикация в HBR имеют наибольшее совпадение. Терминология, используемая мужчинами и их менеджерами, в большей степени будет о бизнес результате. Многое из специфики языка мужчин в равной степени можно рассматривать как способ, которым предприятия описывают себя.

И мужчины, и их менеджеры используют такие фразы, как «Беспокойство о доходности (Caring about profitability)», «Беспокойство о конкуренции (Caring about the competition)» и «Достижение измеримых результатов». Однако поразительно то, что в отличие от женщин, где большая доля прогнозируемых гендерных тем, которые мы нашли, были использованы женщинами и их менеджерами, большинство тем, характерных для мужчин, были использованы либо их менеджерами либо мужчинами, которыми они управляли – у них было мало совпадений.

Менеджеры были гораздо более склонны описывать мужчин как «принятие правильных решений», «наличие хорошей перспективы», «достижение целей и задач», «обеспечение хорошей производительности» и «создание ценности для компании».

Мужчины в большей степени «ищут конструктивную критику» или «просят честную обратную связь».  Это, конечно, сердце статьи HBR – что женщинам дается менее конкретная обратная связь. Наша работа не нашла этого, но обнаружила, что мужчины чаще просили об этом типе [более конкретной] обратной связи.

В отличие от женщин, которых видели, и они себя представляли, как хороших игроков команды, мужчины с большей вероятностью говорили, что они «взаимодействуют с коллегами». Это казалось гораздо более транзакционным подходом к отношениям.

Другой аспект, который был поразительным, это то, каким образом мужчины используют цифры. Они говорили о проценте достижения своих целей. Мужчины в большей степени говорили, что «у них был хороший год», или, они достигли или перевыполнили свои цели. Если вы заметили комментарий, который включал цифры, то в большей степени он был сделан мужчиной или о нем. Это в некоторой степени неудивительно. Исследования в литературе в области информатики предполагают, что если вы хотите разработать игру обращенную к мужчинам вы должны  предоставить им возможность достигать высоких баллов, получать признание и т.д. Создание игры для женщин – дайте им возможность создавать что-нибудь.

Как руководители, так и их сотрудники пишут больше о женщинах

Одна из вещей, которые мы обнаружили, было то, что и женщины и их менеджеры писали больше текста. Менеджеры обоих полов писали примерно на 10% больше об их сотрудниках женщинах нежели, чем об [их сотрудниках] мужчинах.

Однако, мужчины, которыми руководили женщины, написали почти на 20% больше в своей оценке, чем мужчины, которыми руководили другие мужчины. Как и в целом женщины писали больше, эти мужчины адаптируются к тому, как общаются их менеджеры?

Является ли язык обратной связи независимым?

Хотя мы можем отождествлять себя с многими темами в статье HBR, мы не спешим сделать выводы о том, что менеджеры предвзято относятся к женщинам. Фактически в нашем опыте «размытая» обратная связь может быть использована женщинами для описания себя, так и может быть использована их менеджерами. Мы также видим, что мужчины с большей вероятностью просят о конкретной обратной связи.

Интересно, смогут ли менеджеры адаптироваться к терминологии, используемой их подчиненными. Если сотрудник говорит про себя цифрами и «жесткими» фактами, то и потом отвечать он будет цифрами и «жесткими» фактами. Если сотрудник говорит о поддержке других или возможность быть хорошим коммуникатором, значит ли это, что менеджер также должен использовать такие термины?

Очевидно, что существует огромная возможность применить расширенный анализ, включающий анализ неструктурированных данных «текст», чтобы проинформировать о нюансах беседы о гендерных аспектах внутри организации и помочь в развитие эффективных, целенаправленных решений. Моя рекомендация для фирм, желающих перейти к подходу более ориентированному на данные:

• Если вы этого еще не сделали, выполните этот тип анализа с помощью собственных данных о производительности. Учитывая различия нашего исследования и особенно с работой Kieran Snyder, я  предполагаю, что некоторые выводы были спецификой отрасли и даже фирмы
• Разработать на основе данных развитие для женщин, чтобы помочь им понять как они и их коллеги мужчины отличаются, особенно, как мужчины с большей вероятностью используют язык бизнеса, когда описывают его.
• Продемонстрируйте на примере конкретных компаний как менеджеры могут использовать разный язык когда описывают мужчин и женщин. Это должно быть адресовано и к менеджерам женщинам и к мужчинам, поскольку многие найденные нами темы будут вероятно  использованы женщинами менеджерами, так и менеджерами мужчинами.

Об авторе.

Andrew один из пионеров европейской сцены HR аналитики. Он основатель OrganizationView, создатель открытого вопроса к сотруднику в обратной связи как инструмент  Workometry,  и со основатель общества the People Analytics Switzerland.
Andrew возглавил первую Европейскую конференцию по HR аналитике - HR Tech World’s 2013 ‘Big Data’ и был сопредседателем конференции Tucana’s ‘People Analytics’ в 2014, 2015 и 2016. Он преподаёт HR аналитику и управляемые данные в HR в Европе и Азии, а также является членом CIPD’s Human Capital Analytics Advisory Group, устанавлиевает стандарты и контент-стратегию для содержания HR аналитики.
__________________________________________________________
На этом все, читайте нас в фейсбуке и телеграмме

Материалы вебинара "От резюме до Exit интервью. Текстовый след сотрудников - как его посчитать и извлечь выгоду"

Сегодня Людмила Рогова провела вебинар по теме "От резюме до Exit интервью. Текстовый след сотрудников - как его посчитать и извлечь выгоду".
Выкладываю презентацию вебинара

от резюме до Exit интервью. Текстовый след сотрудников - как его посчитать и извлечь выгоду from Edward Babushkin

Можно ли определить интеллект работников по отзывам о компании

Ответ: можно.
Далее прошу троллей покинуть блог, а для остальных еще расскажу немного.
У меня нет никакой цели поерничать на тему отзывов, интеллекта и т.п. Чисто исследовательская цель.
Большая часть текста этого поста во многом вызвана реакцией на мой пост в Линке, где я написал, что определить интеллект по профилю в социальной сети достаточно тривиальная задача, несмотря на революционность идеи. Реакция была в 90 % случаев неадекватной, а мне бы хотелось, что вы понимали, что это обычная исследовательская задача, и у меня пока нет возможности определить интеллект по профилю в соц сетях, для этого просто требуется больше ресурсов для сбора данных, но я покажу как можно определять интеллект по отзывам о работодателе.
Пост, наверное, не очень практичный, ибо какая польза работодателю от того, что он по отзыву о компании определит интеллект работника. Хотя как вариант, мы могли бы создать процедуру оценки, основанную на отзыве о прошлом работодателе. Но здесь уже полет фантазии может унести нас далеко от сути поста. Но с другой стороны, если вы почитаете обсуждения про exit интервью в компании (это обсуждение в моей группе HR-аналитика на Линкедине, приглашаю вступить), то заметите, что единицы в принципе ставят вопрос о целях использования результатов exit интервью и отзывов о компании.
И да, для меня exit интервью и отзыв о компании это почти одно и тоже.
Этот пост - возможность поиграться с данными моего исследования факторов текучести персонала (я надеюсь, что вас заинтересуют результаты исследования, вы пройдете по ссылке и поучаствуете в исследовании).
Я увлекся анализом тестов и анализом тональности текста. Кстати говоря, 24 ноября мы с Людмилой Роговой (второй автор этого блога) проведем вебинар От резюме до exit-интервью. Текстовый след сотрудников - как его посчитать и извлечь выгоду, присоединяйтесь! Самый популярный материал из этой серии Какой функционал HR самый дорогой или кто в HR получает больше. Он более практичен и поэтому, видимо, популярен. Думаю, что со временем, джоб сайты будут использовать именно эту технологию / алгоритм для бенчмарков зарплат.

Постановка задачи

В исследовании факторов текучести персонала появился на так давно новый вопрос. Вопрос просьба оставить отзыв о компании: причины увольнения, плюсы и минусы компании, особенности корпоративной культуры и т.д... Вопрос открытый, респонденты пишут все, что хотят.
А кроме того, у нас есть договоренность с Лабораторией Гуманитарные Технологии о том, что все, прошедшие исследование респонденты могут бонусом пройти батарею психологических тестов, которая состоит из теста Большая пятерка (личностный опросник про интроверсию / экстраверсию, независимость / согласие, импульсивность / самоконтроль и т.д..) и КТО (тест способностей: вербальный, числовой интеллекты, эрудиция и т.п.). Оцените компанию! Это волшебный дар по настоящему.
Так вот, у меня есть возможность сметчивать результаты респондентов по опросу и результаты тестов. По сути, у нас к результатам исследования факторов текучести добавляется еще куча информации.
И мы, таким образом, можем выявлять связи между психологическими качествами респондента и любым другим показателем его из исследования. Уверен, что никто не будет возражать против того, что есть связь между определенными профессиями и психологическими качествами. Например, выдвигаю гипотезу, HR и IT почти наверняка различаются в интеллекте (уж простите, коллеги!), а может быть и по экстраверсии / интроверсии. Абсолютно точно можно сказать, что есть связь между полом и психологическими качествами. С этой точки зрения, отзыв о компании такая же переменная, как и профессия респондента, как и пол.
Разница только в том, что отзыв о компании представляет из себя текст, а текст это неструктурированная информация. Поэтому задача аналитика заключается в том, чтобы сначала предобработать текст, привести его к формату цифр, а потом уже проводить анализ.
Так что выявление связи между интеллектом работника и его отзывом о компании задача революционная только в том, что раньше этого никто не делал. И в принципе не слышал, чтобы проводились исследования выявления связи между текстами и психологическими качествами людей. Навскидку назову несколько интересных гипотез, которые я обязательно проверю в своем исследовании (пишу гипотезы!!!):

• Более импульсивные люди ставят чаще восклицательные знаки в тексте, чем менее импульсивные;
• Более импульсивные люди чаще используют ВЕРХНИЙ РЕГИСТР ТЕКСТА в сообщении, чем менее импульсивные;
• Люди с более высоким вербальным интеллектом пишут грамотнее, чем с низким;
• Экстраверты используют больше слов в отзывах, чем интроверты;
• ..... могу писать долго, следите за блогом. И очень хотел бы, чтобы вы мне подсказали гипотезы, которые можно проверить.

Собственно в тему поста

Так вот сегодня первый пост из этой серии. Участвуют в исследовании не очень активно, отзывы оставляют не все респонденты, и тесты проходят не все респонденты, кто оставил отзыв, но кушать очень хочется уж больно невтерпеж, поэтому я показываю анализ на примере 51 респондента, у кого есть данные как по тесту, так и отзыв о компании. Поэтому на результат нужно смотреть всего лишь как на возможность, на перспективу. И может быть вас это подхлестнет поучаствовать в исследовании.
Я построил уравнение регрессии, где y - вербальный интеллект, а X - отзывы о компании.
Гипотеза проста: то, как мы думаем и пишем, определяет наш интеллект! Так и хочется вспомнить работу Льва Семеновича Выготского "Мышление и речь", которую изучал любой советский / российский психолог, получивший классическое образование в ВУЗе. И данный пост - мой вклад в российскую психологическую науку.
Поскольку респондентов было мало, я не проводил ни разбиения на трейн и тест сет, ни кросс валидации, а просто построил ридж регрессию.
И результат получился слишком красивым: R^2 = 0. 64
Это был бы фантастический результат, если бы мы получили его на достаточной выборке с соблюдением всех требований алгоритма машинного обучения.
НО! Если мы в итоге получим R^2 = 0. 064, то это будет крупным успехом.
Ну и просто для красоты две картинки
1) слова и словосочетания, которые связаны с низким вербальным интеллектом. Т.е. те респонденты, которые использовали эти слова или словосочетания, чаще показывали более низкий результат по вербальному интеллекту. (упаси вас бох не пользоваться этим теперь в текстах)))

2) слова и словосочетания, которые связаны с высоким вербальным интеллектом (ща как начнут все пользоваться этими словами, ага)

Понравился пост?

если Вы захотите выразить мне благодарность за интересный пост, вы можете перевести небольшую сумму мне на Яндекс кошелек (кликните по кнопке Перевести) 

или сделать перевод на карту Сбербанка,

Номер карты 676 280 38 921 538 46 57 

Или просто покликайте на директ рекламу ниже на странице - у вас это отнимет несколько секунд, а мне принесет немного денег. 

Анализ причин текучести персонала: открытые вопросы exit интервью

Продолжаю тему анализа текстов. Сегодня покажу набросок на тему анализа открытых вопросов exit интервью.
Выражаю благодарность Людмиле Роговой и Ивану Безуглову за помощь в работе над постом. К сожалению, становится все сложнее делать посты одному: сложность возрастает.
Проблема у нас в прежнем: мы можем собирать кучу информации при увольнении, в т.ч. задавать открытые вопросы в exit интервью, но

• кто эти все анкеты будет читать? 
• как из этого извлечь пользу? Как понять, что конкретная анкета говорит о тенденции, а не о личной проблеме конкретного работника? 

Для это применяется математика. Единственное требование - все эти ответы должны быть в электронном виде, а не на бумаге или в ушах кадровика.
У меня на сегодня нет данных exit интервью конкретной компании, не снабдил меня никто этим. Поэтому я пользуюсь результатами своего исследования факторов текучести персонала (ссылка дана с тем, чтобы вы поучаствовали в опросе). Последний вопрос исследования - открытый, дословно звучит так

Напишите (по желанию) в нескольких предложениях отзыв о работодателе (конфиденциальность гарантируем): особенности работодателя, особенности корпоративной культуры, менеджмента и коллектива, причины, по которым вы уволились или работаете в компании и т.п.

Я этот вопрос, уж простите, решил принять как открытый вопрос exit интервью.

Цель

А цель очень проста: выяснить, какого типа отзывы о компании связаны с высоким риском ухода из компании. Если совсем тупо, то какая причина увольнения заставляет работников покидать компанию быстрей.

Результат

Ну давайте посмотрим, что получилось. Чтобы получить ответ на заданный вопрос, нам нужно сгруппировать все ответы вокруг нескольких тем. Эту задачу выполняют несколько методов, в идеале стоило бы попробовать Латентное размещение Дирихле, см. пост Обратная связь сотрудников как инструмент диагностики корпоративной культуры. Я использовал Kmeans. Отличие в том, что Kmeans относит каждый отзыв о компании или каждую анкету exit интервью к одной теме / топику, а Латентное размещение Дирихле может каждую анкету exit интервью отнести к нескольким темам. Это, наверное, будет более корректным, поскольку респондент может писать о нескольких причинах увольнения, о нескольких особенностях компании. Но я сегодня делаю первый заход, мне хотелось просто потрогать инструмент, попытаться выделить ключевые темы.
Итак, я взял инструмент кластеризации Kmeans и выделил четыре кластера (я оставлю за скобками, почему именно четыре, но просто скажу, что игрался достаточно долго с разными параметрами, эта лучшая комбинация).

Невооруженным глазом заметно, что машинка разделяет не очень хорошо, не считая черный кластер - но там всего три точки, которые не оказывают влияния на общую картинку текучести. Но открою страшную тайну, у нас в этом исследовании всего 103 респондента, которые оставили отзыв о компании, я нетерпеливый, не смог дождаться, стал делать, со временем мы сможем получить более устойчивые кластеры.
Но и тем не менее, нас интересует не сами по себе кластеры. Нас интересует текучесть персонала, и как эти кластеры связаны с текучестью.
Используем полюбившийся вам анализ дожития. Я убираю из анализа "черный" кластер, как малочисленный, и смотрю на уровень текучести по каждому кластеру: в каком кластере работники убегают быстрее из компании.

Как читать такой тип диаграммы - Анализ и визуализация дожития: чем HR похож на медиков.

• По оси Y - вероятность, что работник доработает до этого момента стажа в компании.
• По оси X - число месяцев стажа

И вот у нас "синий" (или четвертый) кластер выбивается в лидеры текучести персонала. Смотрим регрессию Кокса
Call:
coxph(formula = Surv(months, as.numeric(event)) ~ cl, data = q1)

  n= 100, number of events= 63

      coef exp(coef) se(coef)     z Pr(>|z|)
cl3 0.1766    1.1932   0.4566 0.387   0.6988
cl4 0.5573    1.7459   0.2675 2.083   0.0373 *
И приз наш: мы зафиксировали значимые различия между вторым и четвертым кластером! Правда, значимость всего 0, 037, но не забывайте, что наша выборка будет увеличиваться.

Самое вкусное

Я в конце скажу о главном: что кластеры обозначают. У нас четвертый кластер оказался значимо "текучей", чем второй, давайте посмотрим на них.

• Четвертый кластер включает наиболее "тяжелые" слова: "директор" "директора" "компания" "причина" "руководитель" "руководство" "стороны"    "увольнения"   
• Второй кластер: "внимания" "возможность" "з/п" "заработная" "корпоративная" "культура" "профессионального" "развиваться" "руководитель"  

Вы заметили, что кластеры очень неточно делят топики? И это главная проблема на сегодня. Тем не менее, четвертый кластер у нас имеет достаточно четко очерченный смысл. И этот смысл повышает риски увольнения в компании. Сейчас найдется куча офигенно продвинутых "аналитиков", которые скажут: ну это же очевидно, что фактор отношений с руководителем играет первостепенную роль. А мне вот лично это не очевидно, поэтому я кручу проблему с разных сторон.
Ждите постов дальше на эту тему. и принимаем участие в исследовании факторов текучести

Понравился пост?

если Вы захотите выразить мне благодарность за интересный пост, вы можете перевести небольшую сумму мне на Яндекс кошелек (кликните по кнопке Перевести) 

или сделать перевод на карту Сбербанка,

Номер карты 676 280 38 921 538 46 57 

Или просто покликайте на директ рекламу ниже на странице - у вас это отнимет несколько секунд, а мне принесет немного денег. 

спасибо!

Какой функционал HR самый дорогой или кто в HR получает больше

Очередной пост из серии анализа текстов и анализа тональности теста.
Логика такова: у нас в опросе ключевые факторы текучести персонала (который давно уже не только про текучесть. И ссылка дана для того, чтобы вы наконец поучаствовали в нем, неужели эти данные вас не убедят в том, какие вкусные результаты получаются?) есть вопрос о позиции респондента. И позиция HR обозначена как "HR".

Проблема

Проблема в том, что мы не охватываем весь функционал HR в исследовании. Под HR могут понимать рекрутинг, обучение, comp&ben и т.п.. Можно было бы вместо HR указать эти опции, но тогда вопрос будет раздут непомерно. Учтите, что в исследовании участвуют далеко не только HR, и область IT я уже точно не смогу поделить на более мелкие кластеры. Но ведь даже поделив мы найдем кучу специалистов, которые не согласятся с нашим делением, согласны? И нет гарантий, что наша классификация будет более корректной. Да еще и жизнь не стоит на месте, у нас появляются новые направления работы, которые смещают акценты.
Друго аргумент состоит в том, что в HR ведь специалист не обязан заниматься только одним функционалом, он может одновременно вести подбор и адаптацию. КДП и подбор. Обучение и адаптацию. И т.п.. Это еще усложняет подход к выбору классификаторов.

Выход

Но все равно хочется знать, кто же получает больше. И хочется знать, какой функционал чаще спаривается между собой. И так далее и тому подобное. Что делать?
Делать очень просто: попросить респондентов описать свой функционал своими словами. Тогда у нас получится самый дробный классификатор (у нас по сути почти на каждого спеца будет свой уникальный набор функций).
И единственная проблема, которую нам предстоит решить, как этот текст разложить по полочкам или оцифровать или привести из формата переменной "string" (или текст) в формат цифр.
Аналитика на сегодня способна решать такие задачи. Показываю вам результат регрессионного анализа: в качестве зависимой переменной я взял данные зарплаты, которую указал респондент (речь пока только про HR), в качестве независимой переменной - описание функционала (то, чем HR занимается).

Картинку можно кликом увеличить. Сразу извините за "нерусские" выражения а ля "заработный плата". Машинка приводит слова к единой форме, и это правильно, иначе мы получим кучу падежных форм, что увеличит раздрай.
Высота слова / выражения (обратите внимание, что на картинке есть как отдельные слова, так и выражения. Например, есть просто "обучение" и "адаптация", а есть  "адаптация обучение") обозначает вес этого слова / выражения. В этом смысле "заработный плата" выше, чем "обучение развитие" (чуть ниже, чем "заработный плата").
В приложении к посту я даю таблицу с коэффициентами функций. Величина коэффициента равна высоте слова на картинке или весу слова с т.з. заработной платы HR.
Проблема этого метода в первую очередь заключается в том, что в исследовании приняло участие так мало людей, что с такими результатами меня засмеют, например, на ХХ. Но, кстати, говоря, когда я обратился в свое время на этот ХХ за поддержкой, меня послали очень далеко. В оправдание ХХ замечу, что суперджоб меня тоже послал. Правда, не так далеко.
Но вы можете меня не послать, а поддержать, приняв участие в опросе КЛЮЧЕВЫЕ ФАКТОРЫ ТЕКУЧЕСТИ И ЭФФЕКТИВНОСТИ ПЕРСОНАЛА.
А еще вы этой ссылкой можете поделиться с коллегами. Картинка изменится еще много раз, после того, когда в исследовании примут участие еще тысяча, а лучше три тысячи HR.
А я со временем сделаю простой сервис: вы будете вбивать данные в вебформу, а вам машинка будет выдавать ожидаемый уровень зарплаты, вы просто сравните, подходит предлагаемый вам уровень зарплаты работодателем и ожидаемый по рынку или нет и примите решение.
Коллеги, ведь у нас не только HR принимают участие в опросе. Я очень скоро смогу IT специалистам такое же сделать. И это будет альтернативой скучным и бессмысленным бенчмаркам. Согласны? разошлите ссылку своим коллегам и друзьям.
И вопрос вам: нужна такая работа рынку?

Приложение. Веса функций HR с т.з. заработной платы

Таблица расположена по возрастанию. Чем меньше коэффициент, тем меньше вес. "Подбор" самая малоценная функция (в понятиях заработной платы), "бюджетирование" самый высокий.

Обратная связь сотрудников как инструмент диагностики корпоративной культуры

Как вы уже поняли, начал заниматься анализом текстов в компаниях, хочу поделиться некоторыми наблюдениями по результатам анализа текстов обратной связи.
В качестве примеров взял два набора данных

• Результаты открытых вопросов обратной связи оценки 360 градусов (уже писал на эту тему - Анализ обратной связи в оценке 360 градусов. Зарисовки);
• Результаты открытых вопросов обратной связи анкет по обучению (Анализ анкет обратной связи по обучению. Что нам могут сказать открытые вопросы).

О логике анализа

Есть несколько разных видов / типов анализа текста, один из них, который я хочу затронуть - выделение тем / кластерный анализ / тематическое моделирование. Если говорить грубо, то задача такого вида анализа - выделить из массы текстов несколько смысловых тем. Например, если мы говорим про анкеты обратной связи по обучению, то такими смысловыми темами могут быть:

1. качество раздаточного материала;
2. оценка самого тренера;
3. в идеале оценку тренера с позиций: 1) умение вести группу, 2) владение материалом;
4. актуальность темы;
5. применимость полученных знаний / навыков
6. и т.д...

Отсюда простая техника диагностики семинаров / тренингов: мы понимаем, в каком семинаре чаще поднимают какую тему в анкетах обратной связи, и работаем с этим.
В оценке 360 градусов такими темами могут быть:

1. Отношения с клиентами;
2. Отношения в коллективе;
3. профессиональные качества оцениваемого;
4. И т.п..

Логика применения аналогична: выделяя такие смысловые темы в текстах обратной связи, мы могли бы понять, каковы болевые точки оцениваемого.

Проблема

Проблема то проста: сложно выделить устойчивых тем / смыслов / кластеров в анализируемых текстах. В анализе обратной связи по обучению я применил кластерный анализ (Kmeans), где кластеры свертывались постоянно в один

Что это значит с т.з. содержательной интерпретации? Участники семинара говорили фактически про одно. Одну тему, которые не расчленить на отдельные подтемы.

Сегодня я решил специально решить эту проблему и применил метод тематического моделирования (Латентное размещение Дирихле). Не пугайтесь умным словам. Суть проста: если в кластерном анализе каждый отзыв сотрудника можно отнести к какой-то одной теме, то в тематическом моделировании один отзыв может быть отнесен сразу к нескольким темам. И это логично: работник может в одном тексте написать как про качество раздаточного материала, так и про тренера. 

Результат

Выделил по три темы (в тематическом моделировании мы можем выделить произвольное количество). Результат для анкет обратной связи оценки 360  градусов:

1. 0.024*задача + 0.022*решение + 0.013*сотрудник + 0.011*клиент + 0.010*поставить + 0.009*ситуация + 0.008*знание + 0.007*работать + 0.006*вопрос + 0.006*высокий;
2. 0.027*клиент + 0.019*сотрудник + 0.015*результат + 0.015*коллега + 0.012*задача + 0.011*большой + 0.010*ответственность + 0.009*уметь + 0.009*банка + 0.007*общение
3. 0.020*клиент + 0.013*задача + 0.013*коллега + 0.010*поставить + 0.010*сотрудник + 0.010*ответственный + 0.007*вопрос + 0.007*уметь + 0.007*выполнение + 0.007*решение.

Для анкет обратной связи по обучению:

Анализ анкет обратной связи по обучению. Что нам могут сказать открытые вопросы.

Анализирую анкеты обратной связи по корпоративным семинарам. В анкетах помимо полей с цифровой оценкой семинаров есть поле обратной связи в виде открытого вопроса, участники могли писать про пройденный семинар все, что хотели.
В данном посте публикую подход к анализу, если заинтересуетесь, готов его обсуждать.

Проблема 

проблема использования подобных вопросов очевидна:

1. пишут редко, т.е. вообще отзывов мало;
2. а в имеющихся отзывах мало содержательной информации, в основном: "все было супер", "препод молодец!";
3. И когда мы вытаскиваем наконец содержательные отзывы, например, про полноту и ясность раздаточного материала, то непонятно, является ли это субъективным мнением одного участника или отражает мнение хоть части группы. Потому что, если это субъективная оценка участника, то реагировать и работать надо с участником, а если отражает мнение, то работать надо с преподавателем / тренером.
4. А теперь с учетом всего вышесказанного мы выходим на главную проблему: и кто после этого будет читать эти анкеты? Тренинг менеджер компании потратит два часа времени на чтение анкет, но сделать реальных выводов не сможет. 

Вот собственно для решения данных проблем я решил заняться анализом открытых вопросов анкет обратной связи

Решение

Неспециалистов сразу предупреждаю, что будут какие-то термины в области машинного обучения, которые могут показаться темным лесом, можно перейти сразу к результатам.
Первым заходом на решение проблемы была попытка построить кластеры отзывов: т.е. попытаться превратить все море тестовых отзывов превратить в несколько групп, связанных по смыслу. Выделю эти группы:

1. раздаточный материал семинара;
2. тренер;
3. применимость полученных знаний на практике;
4. организация семинара. 

Попытка эта не привела к успеху

На картинке показана попытка разделить все отзывы на три кластера, качество модели настолько качественно, насколько кластеры отделены друг от друга.
Видно, что кластер 0 не существует практически, а кластеры 1 и 2 это если и не один кластер, то граница весьма условна. Причем, это видно по смысловому наполнению, когда слова "материал" или "тренер" содержаться во всех кластерах, что значит для нас, мы не смогли поделить отзывы по нужным нам смыслам.

Мера сходства сообщений.

Тогда я решил использовать меру сходства сообщений. Это почти тоже самое, что поисковая выдача: первым в поисковике выходит наиболее релевантное сообщение, а потом по мере убывания. Понятно, что Гугл и Яндекс делают это сложнее)))
Но я таким образом могу посчитать насколько каждый отзыв участника семинара / тренинга схож с эталонным сообщением, сообщением, который отражает нужный нам набор слов.
Например, я беру тему "Материалы семинара" и создаю набор слов, выражений:
"раздатка восприятие визуализировать наглядный раздаточный материал материалы ....".
Далее запускаю алгоритм машинного обучения, который определяет меру сходства каждого сообщения с этим эталонным. И каждое сообщение получает свою оценку сходства, которую я записываю отдельной переменной. У нас получается вот такая картина:

благодаря грамотный тренер группа активно участвовать замечательный живой яркий динамичный следить	1.41
тема форма подача информация изучить разобрать инструмент реализация личный цель	1.36

не обращайте внимание на "нерусский" текст, я его предобработал (убрал лишние слова, привел все в одну форму), поэтому он как бы не читаем. 

Но зато вы видите, что у одного отзыва стоит оценка 1, 41, у другого 1, 36. У того, что 1, 36 мы видим слово "подача", которое было приведено в эталонном сообщении. Поэтому данный отзыв имеет больше сходства с эталонным. И важный момент: мера сходства показывает не просто количество слов из эталонного сообщения, но относительную частоту, т.е. сколько слов эталонного сообщения по отношению к количеству всего слов в сообщении. Мы тем самым вводим вес этой темы для отзыва, т.е. учитываем, что если участникам написал только про материалы семинара, вес этого сообщения будет более значимым. 

Таким образом мы можем посчитать средние значения по каждому семинару / тренингу. Получается вот что. 

	Семинар	Среднее значение меры сходства
1	Личная эффективность	1.403539
2	Навыки проведения презентации	1.398800
3	Навыки коммуникации	1.404731
4	Переговоры	1.403366

У нас максимальное различие определяется оценкой 1, 41. И таблица может ввести нас в удрученное состояние:

1. слишком близки средние значения к 1,4 1 
2. слишком невелико различие между средними.

Но давайте посмотрим на распределение оценок.

Упс, у нас из 2853 анкет более 75 % вообще никак не связаны с нашим эталонным сообщением (это правый столбец на картинке, оно же значение 1, 41). И это нормально. Ну никак тема материалов семинара не затронула участников. В этом же числе отзывов и пустые отзывы. 

Дескриптивные статистики 

count    2853.000000
mean        1.403738
std         0.032555
min         1.051462
25%         1.414214
50%         1.414214
75%         1.414214
max         1.414214

Что мы делаем

Тем не менее, четверть отзывов так или иначе связана с темой материалов. И нам осталось понять, есть ли значимые различия в оценках средних значений семинара по теме "Материалы семинара". 

А это может сделать уже любой выпускник психфака, прошедший курс тервера и матстатистики. С помощью критерия Крускала и Краскелла Уолисса.

KruskalResult(statistic=15.880403258075576, pvalue=0.0011998352099500508) 

Значимость критерия ниже необходимого нам уровня в 0, 05 и даже в 0, 01, поэтому мы можем утверждать, что на семинаре "Навыки проведения презентации" тема материалов семинара поднималась в отзывах участников значимо чаще. Отсюда следующие шаги:

1. мы проводим анализ тональности текста (отвечаем на вопрос, были ли эти отзывы чаще позитивными или негативным);
2. даем обратную связь тренеру / преподавателю или принимаем решение о дальнейшей работе с ним.

Все. От профи по машинному обучению хочу услышать предложения, как можно сделать проще то, что я понаделал. Ибо я только начинаю тут шаги делать, а от коллег по HR хотелось бы услышать про перспективы применимости услышать. Спасибо. 

Понравился пост?

если Вы захотите выразить мне благодарность за интересный пост, вы можете перевести небольшую сумму мне на Яндекс кошелек (кликните по кнопке Перевести) 

или сделать перевод на карту Сбербанка,

Номер карты 676 280 38 921 538 46 57 

Или просто покликайте на директ рекламу ниже на странице - у вас это отнимет несколько секунд, а мне принесет немного денег. 

спасибо!

Анализ обратной связи в оценке 360 градусов. Зарисовки.

Провожу анализ обратной связи в оценке 360 градусов одной компании. Хочу показать один результат. С разрешения компании.
Компании в оценке 360 градусов часто используют открытые вопросы, чтобы получить обратную связь, получить пояснения оценок и т.п.. Компании эти данные дают оцениваемым как обратную связь, но сама hr служба практически никак не анализирует тексты из-за объемов и отсутствия инструментов.
Но некоторые вещи можно вытащить.

Описание структуры оценки 360 градусов

В данной компании оценка 360 градусов проводилась по четырем компетенциям

• Лояльность компании;                                                               
• Ответственность;  
• Ориентация на клиента;  
• Эффективное общение.

И задавали два открытых вопроса:

• В чем этот сотрудник особенно успешен, что получается у него особенно хорошо?  
• Что бы Вы порекомендовали этому сотруднику изменить в своем поведении, чтобы стать более эффективным?

Первый вопрос был направлен на выявление сильных сторон, второй направлен на выявление слабых сторон.
Всего было оценено более 700 работников

Проблема 360 градусов

Надо обязательно отметить, что оценка 360 градусов имеет одну проблему.

На картинке показано распределение оценок 360 градусов по компетенции Ответственность . Шкала оценок от 0 до 2, где "2" - максимальная позитивная оценка. Диаграмма показывает, что "двоек" в оценках слишком много, в нашем случае две трети оценщиков оценили оцениваемых на максимальную оценку. Уверен, что любой, кто проводил оценку 360 градусов, сталкивался с подобным.
Сама по себе эта проблема требует решения, буду готов обсудить с заинтересованными способы решения этой проблемы.

Анализ и результаты

Я провел анализ тональности (сентимент анализ) текста. Анализ тональности позволяет выявить, какие слова, выражения чаще употребляются с позитивной оценкой оцениваемого (оценка "2") и негативной оценкой.
Установлено что вопрос "Что бы Вы порекомендовали этому сотруднику изменить в своем поведении, чтобы стать более эффективным?" позволяет лучше проводить границу между позитивной и негативной оценкой. Отсюда хочу для эксперимента порекомендовать не бояться задавать прямых, резких, провокационных вопросов в обратной связи.
А далее забавный результат

На картинке показан Топ 10 слов, связанных с негативными оценками в вопросе  "Что бы Вы порекомендовали этому сотруднику изменить в своем поведении, чтобы стать более эффективным?". Размер шрифта, высота слова / выражения показывает вес слова выражения с негативной оценкой в обратной связи 360 градусов. Чем крупнее слово, тем чаще оно используется в негативной обратной связи.
"Пусто" это не слово "пусто", а пустое пространство, или, точнее, отсутствие обратной связи. Т.е. когда оценщик ставит негативную оценку, он часто просто оставляет поле пустым. А на втором месте "затрудняюсь" и "затрудняюсь" ответить. По сути, равно "Пусто".
Вывод для компании: необходим тренинг научения давания негативной обратной связи. Извините за мой французский.
А теперь аналогичная картинка, но для позитивного вопроса "В чем этот сотрудник особенно успешен, что получается у него особенно хорошо?". Зацените: вопрос призван восхвалять оцениваемого, а мы выявили слова, которые связаны с негативом, оценщик ставит негативную оценку, а в поле восхвалений пишет ниже... "Затрудняюсь" и "Затрудняюсь ответить" тоже присутствует, но далеко не на первом месте (хвалить таки проще?)

На первом месте "клиент" (для спецов: лемматизацию я не делал), обратите внимание на картинке выше присутствуют "коллеги". Отсюда гипотеза: негатив чаще связан с самим любимым - оценщиком, с тем, что у тебя случилось с оцениваемым. А клиенты на закуску.

Понравился пост?

если Вы захотите выразить мне благодарность за интересный пост, вы можете перевести небольшую сумму мне на Яндекс кошелек (кликните по кнопке Перевести) 

или сделать перевод на карту Сбербанка,

Номер карты 676 280 38 921 538 46 57 

Или просто покликайте на директ рекламу ниже на странице - у вас это отнимет несколько секунд, а мне принесет немного денег. 

спасибо!