Обратная связь сотрудников как инструмент диагностики корпоративной культуры

Как вы уже поняли, начал заниматься анализом текстов в компаниях, хочу поделиться некоторыми наблюдениями по результатам анализа текстов обратной связи.
В качестве примеров взял два набора данных

• Результаты открытых вопросов обратной связи оценки 360 градусов (уже писал на эту тему - Анализ обратной связи в оценке 360 градусов. Зарисовки);
• Результаты открытых вопросов обратной связи анкет по обучению (Анализ анкет обратной связи по обучению. Что нам могут сказать открытые вопросы).

О логике анализа

Есть несколько разных видов / типов анализа текста, один из них, который я хочу затронуть - выделение тем / кластерный анализ / тематическое моделирование. Если говорить грубо, то задача такого вида анализа - выделить из массы текстов несколько смысловых тем. Например, если мы говорим про анкеты обратной связи по обучению, то такими смысловыми темами могут быть:

1. качество раздаточного материала;
2. оценка самого тренера;
3. в идеале оценку тренера с позиций: 1) умение вести группу, 2) владение материалом;
4. актуальность темы;
5. применимость полученных знаний / навыков
6. и т.д...

Отсюда простая техника диагностики семинаров / тренингов: мы понимаем, в каком семинаре чаще поднимают какую тему в анкетах обратной связи, и работаем с этим.
В оценке 360 градусов такими темами могут быть:

1. Отношения с клиентами;
2. Отношения в коллективе;
3. профессиональные качества оцениваемого;
4. И т.п..

Логика применения аналогична: выделяя такие смысловые темы в текстах обратной связи, мы могли бы понять, каковы болевые точки оцениваемого.

Проблема

Проблема то проста: сложно выделить устойчивых тем / смыслов / кластеров в анализируемых текстах. В анализе обратной связи по обучению я применил кластерный анализ (Kmeans), где кластеры свертывались постоянно в один

Что это значит с т.з. содержательной интерпретации? Участники семинара говорили фактически про одно. Одну тему, которые не расчленить на отдельные подтемы.

Сегодня я решил специально решить эту проблему и применил метод тематического моделирования (Латентное размещение Дирихле). Не пугайтесь умным словам. Суть проста: если в кластерном анализе каждый отзыв сотрудника можно отнести к какой-то одной теме, то в тематическом моделировании один отзыв может быть отнесен сразу к нескольким темам. И это логично: работник может в одном тексте написать как про качество раздаточного материала, так и про тренера. 

Результат

Выделил по три темы (в тематическом моделировании мы можем выделить произвольное количество). Результат для анкет обратной связи оценки 360  градусов:

1. 0.024*задача + 0.022*решение + 0.013*сотрудник + 0.011*клиент + 0.010*поставить + 0.009*ситуация + 0.008*знание + 0.007*работать + 0.006*вопрос + 0.006*высокий;
2. 0.027*клиент + 0.019*сотрудник + 0.015*результат + 0.015*коллега + 0.012*задача + 0.011*большой + 0.010*ответственность + 0.009*уметь + 0.009*банка + 0.007*общение
3. 0.020*клиент + 0.013*задача + 0.013*коллега + 0.010*поставить + 0.010*сотрудник + 0.010*ответственный + 0.007*вопрос + 0.007*уметь + 0.007*выполнение + 0.007*решение.

Для анкет обратной связи по обучению:

1. 0.029*знание + 0.019*практика + 0.017*жизнь + 0.017*информация + 0.016*техника + 0.013*клиент + 0.012*курс + 0.011*коллега + 0.010*отношение + 0.010*переговоры';
2. 0.024*материал + 0.016*знание + 0.015*тренер + 0.014*информация + 0.010*навык + 0.009*подход + 0.008*практика + 0.008*доступный + 0.007*коллега + 0.007*цель';
3. 0.039*навык + 0.013*новое + 0.011*знание + 0.009*курс + 0.009*коллега + 0.009*материал + 0.009*эмоция + 0.009*инструмент + 0.008*практика + 0.008*тренер'.

Цифры обозначают вероятность вхождения в тему слова и само слово. Забавный вид записи, правда? Но менее забавен тот факт, что у нас, что в оценке 360, что в оценке обатной сыязи по обучению слова в темах пересекаются. Картинка ниже показывает еще более грустную статистику:

 По оси X - количество тем, размер столбца показывает, к какому количеству тем можно отнести каждое сообщение. "По русски" говоря, каждый отзыв можно отнести к сразу всем трем темам. Ну кроме совсем небольшого числа текстов, которые можно отнести к двум темам. Это про 360 градусов. С обучением еще грустнее

И на диаграмме видно, что общее количество отзывов более 2 000 и 3000 в компаниях (я не сказал выше про размер выборки). Это говорит о том, что размер выборки достаточный для того, чтобы делать выводы.
Для красоты добавлю топовые слова из тем.
Для отзывов оценки 360 градусов

Для анкет обратной связи по обучению

Выводы и обсуждение

Ну а может быть так и должно быть с текстами сотрудников? Может быть и не дано нам выделить отдельных смыслов в текстах? Думаю, что нет. Вот здесь - Тематический анализ отзывов на Банки.ру. На что жалуются сотрудники - Людмила Рогова выделила пять кластеров. Банки.ру - сайт, на котором сотрудники анонимно могут оставлять свои отзывы. Анонимно, значит откровенно. Откровенно и разносторонне.
И очень скоро мы проверим, насколько разнообразные с т.з. тем будут отзывы сотрудников о своих нынешних и бывших компаниях в нашем опросе - Ключевые факторы текучести (пройдите по ссылке и поучаствуйте в опросе).
Большое количество может говорить как о бОльшей когнитивной сложности восприятия того коллектива, что пишет, так и большей заинтересованности, большей прозрачности процессов.
Отсюда рождаются гипотезы, сотрудники  не готовы так писать, отписываются общими фразами, а общие фразы, конечно же, только к одному кластеру и относятся, потому что:

• не доверяют руководству, считают, что за откровенные отзывы можно получить по самое не хочу (или не хотят портить отношения с коллегами, как вот здесь Анализ обратной связи в оценке 360 градусов. Зарисовки);
• процедура обратной связи проводилась /проводится формально, сотрудники пишут, лишь бы отписаться;
• как лайтовый вариант: сотрудники считают, что никто их тексты читать не будет, никаких последствий для исследуемого предмета, оцениваемого человека или процесса не будет, зачем напрягаться? 
• или как самый тяжелый вариант: сотрудники просто не обладают способностями давать обратную связь, не имеют развитых вербальных способностей (в этот вариант верится слабо, вспоминая обратную связь от сотрудников на сайте Банки.ру).

А отдельные искренние отзывы растворяются в массе бесцветных текстов. Предвижу десятки громких голосов: Америку открыл, мы и без твоего анализа текстов это понимали и т.п..
Могу ответить просто: во первых, я еще пока ничего не доказал, а просто обсуждаю на уровне гипотез, а во вторых, у меня рождается одна идея. Мы можем использовать анализ текстов обратной связи как инструмент диагностики корпоративной культуры. Выявлять уровень доверия, заинтересованности сотрудников. Динамика текстов может показать развитие зрелости компании.
Мне это направление анализа кажется очень важным, продолжу копать в этом направлении, буду вас знакомить. Буду рад услышать ваши замечания, готов обсуждать.