Анализ тональности текста с использованием word2vec и реализацией в pipeline Python

Анализ тональности текста или сентимент анализ - это метод классификации текста. Самый популярный пример из курсов по машинному обучению - прогноз оценки, которую поставит посетитель ресторана заведению на основе его отзыва. Или, по другому, можем ли мы спрогнозировать на основе отзыва посетителя, будет ли он рекомендовать этот ресторан или нет.
В HR сама собой напрашивается аналогичная задача: можем ли мы спрогнозировать на основе отзыва увольняющегося работника в exit интервью спрогнозировать, будет ли он рекомендовать нашу компанию коллегам / будет ли он отзываться о компании позитивно или негативно. Хотя, безусловно, класс решаемых задач значительно шире. Я бы отослал здесь к статье Raja Sengupta Как NLP может в корне изменить HR. NLP - это Natural language processing или проще - анализ текстов. Моя задача проще - я хочу показать код для решения одной задачи в Python.

word2vec vs "bag of words"

Одним из самых популярных методов анализа текстов (а точнее, этот метод просто хронологически более ранний - и, может быть, более интуитивно понятный) является метод "мешок слов "bag of words". Мы просто получаем столько переменных, сколько у нас слов в тексте (исключая "мусорные" или редкие слова). Т.е. если в отзывах у нас используется 1 485 слов, то у нас будет 1485 новых переменных / колонок. И если в отзыве содержится слово - оно же название переменной - то переменная принимает значение "1", в противном случае "0". Т.е. если респондент написал отзыв "хорошая компания", то из 1485 ячеек напротив данного респондента будет только две "1" - в колонках "хорошая" и "компания".
Этот подход интуитивно понятен, но он имеет ряд недостатков (что делать с "не"? и т.п...), но главное: в этом подходе не отражается смысл слов, фраз.
word2vec
Преодолением такого подхода является метод word2vec (буквально 'word' to 'vector'), который превращает весь текст в N-мерное пространство, и каждое слово это вектор со своими координатами, т.е. буквально можно записать так:

'опрос': array([ 0.05069825, -0.01941545,  0.00567565, -0.0276236 ,  0.01180002,
      .......  0.00385726])
Не показываю весь вектор, потому что он имеет 100 значений. И эти 100 значений - это переменные в нашем уравнении.
"Плюс" этого метода в том, что близкие по значению слова имеют близкие координаты векторов. Например, когда я делал модель для функционала HR, то для слова "компенсации" самые близкие координаты вектора имело слово "c&b". И это замечательно, потому что в подходе "bag of words" слова "c&b" и "компенсации" это разные слова, а в подходе word2vec эти слова хоть и не идентичны, но очень близки.

Данные

У меня свой датасет, которым я с вами не поделюсь, но вы можете опробовать этот код на своих данных. Структура данных достаточно проста:

1. переменная "текст";
2. бинарная переменная 1/ 0, +1 / -1 и т.п..

Я свои данные взял из нашего исследования факторов текучести персонала (участвуем в исследовании) . Помимо всего прочего, в нашем опросе есть две переменные:
"Отзыв о компании";
"Готовы ли Вы рекомендовать эту компанию в качестве работодателя своим знакомым, коллегам?"

Реализация в Python

Итак, начинаем  с загрузки данных

import pandas as pd
import numpy as np
df = pd.read_csv('data.csv', sep=',', encoding = 'cp1251')
df.info()
Data columns (total 2 columns):
y 792 non-null int64
Отзыв о компании 792 non-null object
dtypes: int64(1), object(1)

df['y'].value_counts()
1    404
0    388
Name: y, dtype: int64

Да, у нас очень небольшой датасет, лучше иметь несколько тысяч, даже несколько десятков тысяч строк данных. Но моя задача скромнее - показать алгоритм. Выборка у нас достаточно сбалансированная - соотношение тех, кто готов рекомендовать компанию, и тех, кто не готов - почти 50/50.
Первая задача, которую нам надо решить - создать словарь слов. Т.е. присвоить каждому слову координаты вектора. Для этого нам необходимо взять весь текст и обучить его. Но прежде нам необходимо преобразовать наши отзывы из формата pandas в формат, годный для преобразований word2vec.
Преобразуем таким образом

import nltk
import nltk.data
tokenizer = nltk.data.load('tokenizers/punkt/english.pickle')
from nltk.tokenize import sent_tokenize, word_tokenize
import re 

 def preproc(sentence):
    sent_text = re.sub(r'[^\w\s]','', sentence)
    words = sent_text.lower().split()
    return(words)

 def senttxt(sent, tokenizer, remove_stopwords=False ):
        raw_sentences = tokenizer.tokenize(oped.strip())
        sentences = []
        for raw_sentence in raw_sentences:
            
            sentences.append(preproc(raw_sentence))
        
        len(sentences)
        return sentences

txt_snt = df['Отзыв о компании'].tolist()
sentences = []
for i in range(0,len(nyt_opeds)):
    sent = txt_snt[i].replace("/.", '')
    sentences += senttxt(sent, tokenizer)

В итоге мы получаем объект вот такого формата

sentences[0]
['классическая',
 'российская',
 'компания',
 'с',
 'назначениями',
 'не',
 'по',
 'знаниям',
 'а',
 'по',
 'личной',
 'приверженности',
 'не',
 'соблюдающая',
 'свои',
 'же',
 'правила',
 'делающая',
 'глупость',
 'за',
 'глупостью',
 'и',
 'оправдывающая',
 'их',
 'еще',
 'большими',
 'глупостями']

Этот формат уже можно использовать для создания словаря. Что мы и делаем.

HR аналитика: самые популярные и самые непопулярные темы

Небольшое маркетинговое исследование: я скачал все посты нашей страницы Блога по HR аналитике (присоединяйтесь к нам, если еще не) до середины 2016 года (более 1 000 постов) и посмотрел, посты с какой тематикой чаще лайкаются читателями. Спецы понимают, что речь идет об анализе тональности текста / сентимент анализе.

Пожалуюсь немного: весь пост - три картинки, а труда вбухано немало. Замечу также, что сила аналитики как раз не в 40 страницах отчетов, а в нескольких картинках и фразах.

Описательные статистики 

Общее распределение лайков постов носит такой характер

Не очень нас балует публика лайками, да, признаю. Тем более интересно, что вызывает наиболее активную реакцию на лайки.

Самые популярные темы

На диаграмме показаны слова и выражения, которые связаны с максимальным

Сравнительный анализ корпоративной культуры Альфабанка и Сбербанка на основе текстов вакансий

Поводом к написанию поста стала статья  Корпоративная культура Facebook, Amazon и Apple в описании вакансий. Статья вызывала большой интерес - на шестом месте по количеству просмотров за все время существования блога. Я решил проверить, можно ли нечто подобное сделать у нас.
Сразу предупреждаю, что я не замахиваюсь на масштаб исследователей из данной статьи. Моя цель скромнее - просто попробовать получить какой-то осмысленный результат. Понять, что можно что-то извлекать.

Данные

Данные я взял только двух компаний с сайта ХХ. Это открытые вакансии АльфаБанка - почти 500 - и Сбербанка - более 1 500. Итого более 2 000 строк данных. Не очень много, даже совсем немного, но я и не претендую на законченность анализа как уже писал. Данных мало, полученные результаты имеют очень вероятностный характер. Любой другой спец на этих данных получит другие результаты: они будут пересекаться, но будут другими. Это зависит от параметров алгоритма. Поэтому прошу относиться к полученным результатам не как к приговору банкам, а как некой вероятности.
Хотел бы также к ребятам их ХХ.ру обратиться: было бы здорово, если вы разместили на гитхабе примеры парсинга вакансий. В нормальных пакетах так и делается: возьмите пакеты xgboost, lime и т.п.. - там даются примеры кодов. Чтобы такие недоучки как я могли пользоваться.
Сами вакансии пришлось качать замысловато: сначала через поиск по компании скачивал ID вакансий, а потом уже по урлу вакансии качал описание. И скорость ответов не в пользу ХХ: никогда прежде мне не отвечали больше суток, а мой вопрос ХХ без ответа висит на гитхабе уже несколько суток....
* Тем не менее, коллеги! если вам нужно будет накачать вакансии с ХХ по разным фильтрам, обращайтесь.

Результат

Проводил анализ тональности текста описаний вакансий. Для непрофессионалов скажу: смысл анализа в том, что машина ищет такие слова и словосочетания, которые чаще применяются в описании вакансий одной компании и реже в описании вакансий другой. Таким образом, выделив такие слова и словосочетания мы встретив в новой, незнакомой нам вакансии эти слова, можем угадать, что это за компания.
Обращаю ваше внимание, что в текстовом поле были как требования к кандидату, так и обещания компании. Поэтому получилась каша.

Сбербанк

Альфабанк

Корпоративная культура Facebook, Amazon и Apple в описании вакансий

Перевод статьи For an inside look at Facebook, Amazon, and Apple, scrutinize something most people overlook: the words used in their job postings в рамках нашего  проекта переводы статей по hr-аналитике на английском. Автор - Mark Abadi, он вообще ни разу не HR аналитик, а просто чувак, который пишет на темы аналитики.

Теперь готов поспорить, что наш ХХ.ру непременно порадует рынок аналогичной аналитикой. за неимением своих идей, как говорицца

Перевод выполнила Дарья Ворожейкина (ссылка на профиль в Линкедине), временно не работает. Выпускница ВШЭ, работала HR аналитиком, внедряла корпоротивную облачную HR систему,  разрабатывала инструменты оценки персонала, работала с крупными госкомпаниями как сбербанк, Росатом, ржд, так и средним бизнесом в сфере программного обеспечения а также медицины. Дарья выполнила потрясающую работу: это ответственно - вот так копаться в терминах. Готов рекомендовать Дарью.

Итак, 

Корпоративная культура Facebook, Amazon и Apple в описании вакансий

• Формулировки, которые компании выбирают для описания своих вакансий могут многое рассказать об их корпоративной культуре.
• В Amazon, например, чаще чем в других компаниях используют слова «маниакальный» (“maniacal”) (Используется в позитивной коннотации как приверженный, увлеченный - прим. переводчика) и «динамичная» среда» (“fast-paced environment”).
• Некоторые слова неумышленно могут быть более привлекательны для соискателей мужского или женского пола. 

Одним из самых сложных критериев при выборе работы является понимание того впишитесь ли вы в корпоративную культуру.

Зачастую, помимо отзывов на работных сайтах, таких как Glassdoor, у Вас нет бывает представления о корпоративной культуре компании прежде чем Вы не окажитесь в ее офисе.

Оказывается, само описание позиции может дать Вам понять какова культура компании на самом деле.

Это выяснили в компании-стартапе по анализу текстов Textio проанализировав 25,000 размещенных вакансий от высокотехнологичных компаний таких как Amazon, Facebook, Apple и Google.

Согласно компании Textio, компании, работающие в одной отрасли, использовали уникальные речевые конструкции присущие только ей. 

В Amazon к примеру, в 33 раза чаще использовали слово «феноменально»  (сленг от англ.“wickedly ” - чаще используется в сочетании «wickedly smart” – феноменально умный - прим переводчика ) в описании своих вакансий чем следующая компания в рейтинге по частоте упоминанию этого слова. Другими отличительными словами Amazon также являлись «динамичная среда» (“fast-paced environment”) и «маниакальный» ("maniacal”).

В Facebook чаще чем в других компаниях использовали слова «наша семья» (“our family”), «безжалостно» (“ruthlessly,”) и «сторителлинг»  (“storytelling”).

Отличительными словами компании Netflix были «отсеивать» («weed out»), «взять быка за рога» («bull by the horns») и «дисциплинированный» (“disciplined,”). В то время как в Twitter использовались слова «фанат своего дела» (“nerd”), «страсть к обучению» (“passion for learning”) и «широкие перспективы» (“diverse perspectives”).

В нескольких случаях слова, которые встречались особенно часто в описаниях вакансий, могли дать достаточное ясное представление о корпоративном духе. 

«Это не просто совпадение, что одни и те же формулировки используются в тысяче на первый взгляд несвязных объявлениях» пишет CEO Textio Киран Снайдер в своем блоге.

«Тысячи людей в больших организациях не случайно используют одни и те же слова» -, говорит она. «Повторяющиеся речевые конструкции, которые Ваша компания использует для описания вакансий показывают, что действительно ценят в компании».

Язык используемый в описании вакансии может влиять на то, кто на них откликается.

Исследование 2011 года показало, что компании неумышленно могут привлекать больше соискателей мужского пола, чем женского если содержат слова с гендерным подтекстом (см. на эту тему интерессное исследование Andrew Marrit Неосознанная предвзятость? Использование аналитики текста для понимания гендерных различий в оценке эффективности работы. А у меня есть свое, небольшое исследование на эту тему - см. Типология специалистов e-learning - прим. Эдуарда Бабушкина).

Такие слова как «агрессивный», (“aggressive”), «конкурентноспособный» (“competitive”) и «индивидуалистический» (“individual”) являются кодовыми словами для мужского пола и более привлекательны для мужчин соискателей. Слова «создающий» (“builder”), «кооперирующийся» (“cooperative”) и «понимающий» (“understanding”) -  кодовые слова для лиц женского пола и больше привлекают женщин при отклике на вакансию.

«Организации тратят значительное время и бюджеты на выстраивание бренда работодателя», - пишет Снайдер. «Но как бы Вы не пытались исказить истинную корпоративную культуру, правда будет видна в языке, которые ваши сотрудники используют при общении, особенно когда вся компания использует одни и те же слова».

__________________________________________________________

На этом все, читайте нас в телеграмме

Можно ли определить интеллект работников по отзывам о компании

Ответ: можно.
Далее прошу троллей покинуть блог, а для остальных еще расскажу немного.
У меня нет никакой цели поерничать на тему отзывов, интеллекта и т.п. Чисто исследовательская цель.
Большая часть текста этого поста во многом вызвана реакцией на мой пост в Линке, где я написал, что определить интеллект по профилю в социальной сети достаточно тривиальная задача, несмотря на революционность идеи. Реакция была в 90 % случаев неадекватной, а мне бы хотелось, что вы понимали, что это обычная исследовательская задача, и у меня пока нет возможности определить интеллект по профилю в соц сетях, для этого просто требуется больше ресурсов для сбора данных, но я покажу как можно определять интеллект по отзывам о работодателе.
Пост, наверное, не очень практичный, ибо какая польза работодателю от того, что он по отзыву о компании определит интеллект работника. Хотя как вариант, мы могли бы создать процедуру оценки, основанную на отзыве о прошлом работодателе. Но здесь уже полет фантазии может унести нас далеко от сути поста. Но с другой стороны, если вы почитаете обсуждения про exit интервью в компании (это обсуждение в моей группе HR-аналитика на Линкедине, приглашаю вступить), то заметите, что единицы в принципе ставят вопрос о целях использования результатов exit интервью и отзывов о компании.
И да, для меня exit интервью и отзыв о компании это почти одно и тоже.
Этот пост - возможность поиграться с данными моего исследования факторов текучести персонала (я надеюсь, что вас заинтересуют результаты исследования, вы пройдете по ссылке и поучаствуете в исследовании).
Я увлекся анализом тестов и анализом тональности текста. Кстати говоря, 24 ноября мы с Людмилой Роговой (второй автор этого блога) проведем вебинар От резюме до exit-интервью. Текстовый след сотрудников - как его посчитать и извлечь выгоду, присоединяйтесь! Самый популярный материал из этой серии Какой функционал HR самый дорогой или кто в HR получает больше. Он более практичен и поэтому, видимо, популярен. Думаю, что со временем, джоб сайты будут использовать именно эту технологию / алгоритм для бенчмарков зарплат.

Постановка задачи

В исследовании факторов текучести персонала появился на так давно новый вопрос. Вопрос просьба оставить отзыв о компании: причины увольнения, плюсы и минусы компании, особенности корпоративной культуры и т.д... Вопрос открытый, респонденты пишут все, что хотят.
А кроме того, у нас есть договоренность с Лабораторией Гуманитарные Технологии о том, что все, прошедшие исследование респонденты могут бонусом пройти батарею психологических тестов, которая состоит из теста Большая пятерка (личностный опросник про интроверсию / экстраверсию, независимость / согласие, импульсивность / самоконтроль и т.д..) и КТО (тест способностей: вербальный, числовой интеллекты, эрудиция и т.п.). Оцените компанию! Это волшебный дар по настоящему.
Так вот, у меня есть возможность сметчивать результаты респондентов по опросу и результаты тестов. По сути, у нас к результатам исследования факторов текучести добавляется еще куча информации.
И мы, таким образом, можем выявлять связи между психологическими качествами респондента и любым другим показателем его из исследования. Уверен, что никто не будет возражать против того, что есть связь между определенными профессиями и психологическими качествами. Например, выдвигаю гипотезу, HR и IT почти наверняка различаются в интеллекте (уж простите, коллеги!), а может быть и по экстраверсии / интроверсии. Абсолютно точно можно сказать, что есть связь между полом и психологическими качествами. С этой точки зрения, отзыв о компании такая же переменная, как и профессия респондента, как и пол.
Разница только в том, что отзыв о компании представляет из себя текст, а текст это неструктурированная информация. Поэтому задача аналитика заключается в том, чтобы сначала предобработать текст, привести его к формату цифр, а потом уже проводить анализ.
Так что выявление связи между интеллектом работника и его отзывом о компании задача революционная только в том, что раньше этого никто не делал. И в принципе не слышал, чтобы проводились исследования выявления связи между текстами и психологическими качествами людей. Навскидку назову несколько интересных гипотез, которые я обязательно проверю в своем исследовании (пишу гипотезы!!!):

• Более импульсивные люди ставят чаще восклицательные знаки в тексте, чем менее импульсивные;
• Более импульсивные люди чаще используют ВЕРХНИЙ РЕГИСТР ТЕКСТА в сообщении, чем менее импульсивные;
• Люди с более высоким вербальным интеллектом пишут грамотнее, чем с низким;
• Экстраверты используют больше слов в отзывах, чем интроверты;
• ..... могу писать долго, следите за блогом. И очень хотел бы, чтобы вы мне подсказали гипотезы, которые можно проверить.

Собственно в тему поста

Так вот сегодня первый пост из этой серии. Участвуют в исследовании не очень активно, отзывы оставляют не все респонденты, и тесты проходят не все респонденты, кто оставил отзыв, но кушать очень хочется уж больно невтерпеж, поэтому я показываю анализ на примере 51 респондента, у кого есть данные как по тесту, так и отзыв о компании. Поэтому на результат нужно смотреть всего лишь как на возможность, на перспективу. И может быть вас это подхлестнет поучаствовать в исследовании.
Я построил уравнение регрессии, где y - вербальный интеллект, а X - отзывы о компании.
Гипотеза проста: то, как мы думаем и пишем, определяет наш интеллект! Так и хочется вспомнить работу Льва Семеновича Выготского "Мышление и речь", которую изучал любой советский / российский психолог, получивший классическое образование в ВУЗе. И данный пост - мой вклад в российскую психологическую науку.
Поскольку респондентов было мало, я не проводил ни разбиения на трейн и тест сет, ни кросс валидации, а просто построил ридж регрессию.
И результат получился слишком красивым: R^2 = 0. 64
Это был бы фантастический результат, если бы мы получили его на достаточной выборке с соблюдением всех требований алгоритма машинного обучения.
НО! Если мы в итоге получим R^2 = 0. 064, то это будет крупным успехом.
Ну и просто для красоты две картинки
1) слова и словосочетания, которые связаны с низким вербальным интеллектом. Т.е. те респонденты, которые использовали эти слова или словосочетания, чаще показывали более низкий результат по вербальному интеллекту. (упаси вас бох не пользоваться этим теперь в текстах)))

2) слова и словосочетания, которые связаны с высоким вербальным интеллектом (ща как начнут все пользоваться этими словами, ага)

Понравился пост?

если Вы захотите выразить мне благодарность за интересный пост, вы можете перевести небольшую сумму мне на Яндекс кошелек (кликните по кнопке Перевести) 

или сделать перевод на карту Сбербанка,

Номер карты 676 280 38 921 538 46 57 

Или просто покликайте на директ рекламу ниже на странице - у вас это отнимет несколько секунд, а мне принесет немного денег. 

Какой функционал HR самый дорогой или кто в HR получает больше

Очередной пост из серии анализа текстов и анализа тональности теста.
Логика такова: у нас в опросе ключевые факторы текучести персонала (который давно уже не только про текучесть. И ссылка дана для того, чтобы вы наконец поучаствовали в нем, неужели эти данные вас не убедят в том, какие вкусные результаты получаются?) есть вопрос о позиции респондента. И позиция HR обозначена как "HR".

Проблема

Проблема в том, что мы не охватываем весь функционал HR в исследовании. Под HR могут понимать рекрутинг, обучение, comp&ben и т.п.. Можно было бы вместо HR указать эти опции, но тогда вопрос будет раздут непомерно. Учтите, что в исследовании участвуют далеко не только HR, и область IT я уже точно не смогу поделить на более мелкие кластеры. Но ведь даже поделив мы найдем кучу специалистов, которые не согласятся с нашим делением, согласны? И нет гарантий, что наша классификация будет более корректной. Да еще и жизнь не стоит на месте, у нас появляются новые направления работы, которые смещают акценты.
Друго аргумент состоит в том, что в HR ведь специалист не обязан заниматься только одним функционалом, он может одновременно вести подбор и адаптацию. КДП и подбор. Обучение и адаптацию. И т.п.. Это еще усложняет подход к выбору классификаторов.

Выход

Но все равно хочется знать, кто же получает больше. И хочется знать, какой функционал чаще спаривается между собой. И так далее и тому подобное. Что делать?
Делать очень просто: попросить респондентов описать свой функционал своими словами. Тогда у нас получится самый дробный классификатор (у нас по сути почти на каждого спеца будет свой уникальный набор функций).
И единственная проблема, которую нам предстоит решить, как этот текст разложить по полочкам или оцифровать или привести из формата переменной "string" (или текст) в формат цифр.
Аналитика на сегодня способна решать такие задачи. Показываю вам результат регрессионного анализа: в качестве зависимой переменной я взял данные зарплаты, которую указал респондент (речь пока только про HR), в качестве независимой переменной - описание функционала (то, чем HR занимается).

Картинку можно кликом увеличить. Сразу извините за "нерусские" выражения а ля "заработный плата". Машинка приводит слова к единой форме, и это правильно, иначе мы получим кучу падежных форм, что увеличит раздрай.
Высота слова / выражения (обратите внимание, что на картинке есть как отдельные слова, так и выражения. Например, есть просто "обучение" и "адаптация", а есть  "адаптация обучение") обозначает вес этого слова / выражения. В этом смысле "заработный плата" выше, чем "обучение развитие" (чуть ниже, чем "заработный плата").
В приложении к посту я даю таблицу с коэффициентами функций. Величина коэффициента равна высоте слова на картинке или весу слова с т.з. заработной платы HR.
Проблема этого метода в первую очередь заключается в том, что в исследовании приняло участие так мало людей, что с такими результатами меня засмеют, например, на ХХ. Но, кстати, говоря, когда я обратился в свое время на этот ХХ за поддержкой, меня послали очень далеко. В оправдание ХХ замечу, что суперджоб меня тоже послал. Правда, не так далеко.
Но вы можете меня не послать, а поддержать, приняв участие в опросе КЛЮЧЕВЫЕ ФАКТОРЫ ТЕКУЧЕСТИ И ЭФФЕКТИВНОСТИ ПЕРСОНАЛА.
А еще вы этой ссылкой можете поделиться с коллегами. Картинка изменится еще много раз, после того, когда в исследовании примут участие еще тысяча, а лучше три тысячи HR.
А я со временем сделаю простой сервис: вы будете вбивать данные в вебформу, а вам машинка будет выдавать ожидаемый уровень зарплаты, вы просто сравните, подходит предлагаемый вам уровень зарплаты работодателем и ожидаемый по рынку или нет и примите решение.
Коллеги, ведь у нас не только HR принимают участие в опросе. Я очень скоро смогу IT специалистам такое же сделать. И это будет альтернативой скучным и бессмысленным бенчмаркам. Согласны? разошлите ссылку своим коллегам и друзьям.
И вопрос вам: нужна такая работа рынку?

Приложение. Веса функций HR с т.з. заработной платы

Таблица расположена по возрастанию. Чем меньше коэффициент, тем меньше вес. "Подбор" самая малоценная функция (в понятиях заработной платы), "бюджетирование" самый высокий.

Анализ обратной связи в оценке 360 градусов. Зарисовки.

Провожу анализ обратной связи в оценке 360 градусов одной компании. Хочу показать один результат. С разрешения компании.
Компании в оценке 360 градусов часто используют открытые вопросы, чтобы получить обратную связь, получить пояснения оценок и т.п.. Компании эти данные дают оцениваемым как обратную связь, но сама hr служба практически никак не анализирует тексты из-за объемов и отсутствия инструментов.
Но некоторые вещи можно вытащить.

Описание структуры оценки 360 градусов

В данной компании оценка 360 градусов проводилась по четырем компетенциям

• Лояльность компании;                                                               
• Ответственность;  
• Ориентация на клиента;  
• Эффективное общение.

И задавали два открытых вопроса:

• В чем этот сотрудник особенно успешен, что получается у него особенно хорошо?  
• Что бы Вы порекомендовали этому сотруднику изменить в своем поведении, чтобы стать более эффективным?

Первый вопрос был направлен на выявление сильных сторон, второй направлен на выявление слабых сторон.
Всего было оценено более 700 работников

Проблема 360 градусов

Надо обязательно отметить, что оценка 360 градусов имеет одну проблему.

На картинке показано распределение оценок 360 градусов по компетенции Ответственность . Шкала оценок от 0 до 2, где "2" - максимальная позитивная оценка. Диаграмма показывает, что "двоек" в оценках слишком много, в нашем случае две трети оценщиков оценили оцениваемых на максимальную оценку. Уверен, что любой, кто проводил оценку 360 градусов, сталкивался с подобным.
Сама по себе эта проблема требует решения, буду готов обсудить с заинтересованными способы решения этой проблемы.

Анализ и результаты

Я провел анализ тональности (сентимент анализ) текста. Анализ тональности позволяет выявить, какие слова, выражения чаще употребляются с позитивной оценкой оцениваемого (оценка "2") и негативной оценкой.
Установлено что вопрос "Что бы Вы порекомендовали этому сотруднику изменить в своем поведении, чтобы стать более эффективным?" позволяет лучше проводить границу между позитивной и негативной оценкой. Отсюда хочу для эксперимента порекомендовать не бояться задавать прямых, резких, провокационных вопросов в обратной связи.
А далее забавный результат

На картинке показан Топ 10 слов, связанных с негативными оценками в вопросе  "Что бы Вы порекомендовали этому сотруднику изменить в своем поведении, чтобы стать более эффективным?". Размер шрифта, высота слова / выражения показывает вес слова выражения с негативной оценкой в обратной связи 360 градусов. Чем крупнее слово, тем чаще оно используется в негативной обратной связи.
"Пусто" это не слово "пусто", а пустое пространство, или, точнее, отсутствие обратной связи. Т.е. когда оценщик ставит негативную оценку, он часто просто оставляет поле пустым. А на втором месте "затрудняюсь" и "затрудняюсь" ответить. По сути, равно "Пусто".
Вывод для компании: необходим тренинг научения давания негативной обратной связи. Извините за мой французский.
А теперь аналогичная картинка, но для позитивного вопроса "В чем этот сотрудник особенно успешен, что получается у него особенно хорошо?". Зацените: вопрос призван восхвалять оцениваемого, а мы выявили слова, которые связаны с негативом, оценщик ставит негативную оценку, а в поле восхвалений пишет ниже... "Затрудняюсь" и "Затрудняюсь ответить" тоже присутствует, но далеко не на первом месте (хвалить таки проще?)

На первом месте "клиент" (для спецов: лемматизацию я не делал), обратите внимание на картинке выше присутствуют "коллеги". Отсюда гипотеза: негатив чаще связан с самим любимым - оценщиком, с тем, что у тебя случилось с оцениваемым. А клиенты на закуску.

Понравился пост?

если Вы захотите выразить мне благодарность за интересный пост, вы можете перевести небольшую сумму мне на Яндекс кошелек (кликните по кнопке Перевести) 

или сделать перевод на карту Сбербанка,

Номер карты 676 280 38 921 538 46 57 

Или просто покликайте на директ рекламу ниже на странице - у вас это отнимет несколько секунд, а мне принесет немного денег. 

спасибо!