Как внутренний корпоративный портал интранет влияет на удержание персонала

Мне эта задача показалась интересной: предположим, что компании, имеющие внутренний корпоративный портал, имеют более развитую корпоративную культуру, более развитые внутренние коммуникации, что, в свою очередь, вызывает гипотезу: в компаниях с более развитой корпоративной культурой работники дольше задерживаются.
На сегодняшний день в исследовании поучаствовало 1791 респондентов, в компаниях которых есть / был внутренний корпоративный портал, и 1086, где интранета не было

Результат такой

Как читать такой тип диаграммы - Анализ и визуализация дожития: чем HR похож на медиков.

• По оси X - число месяцев стажа
• По оси Y - вероятность, что работник доработает до этого момента стажа в компании.

Пунктиром показан 95 % доверительный интервал. Различия по этим двум группам значимые, те респонденты, у кого нет внутреннего корпоративного портала, имеют риск увольнения в 1,3 раза выше.
Круто?
Можно было бы повесить на флаг лозунг и показать высшему руководству.

Проблема 

Мы нашли связь, но не причинность. И нам стоит или найти причинный фактор, в присутствии которого влияние наличия внутреннего корпоративного портала будет сведено к нулю, либо не найти такой фактор и посчитать, что на удержание персонала влияет либо, как писал выше: 1) более развитая корпоративная культура, либо 2) более развитые корпоративные коммуникации. Либо что-то третье.
Первая мысль, которая возникает при данном анализе: как наличие внутреннего корпоративного портала связано с размером компании.

• По оси X - размер компании;
• По оси Y - % доля компаний, где есть внутренний корпоративный портал, и где нет.

Как вы догадались, красным цветом показано наличие внутреннего корпоративного портала. Лично меня удивляет 36 % компаний размером 1-24 человека с внутренним корпоративным порталом. Но мы не будем усомневать голоса наших респондентов. Давайте посмотрим, как размер компании влияет на удержание персонала. Я немного поменял срезы - увеличил таргеты, получилось так

Эта гистограмма просто показывает новые таргеты и их размер (k обозначает тысячу). И размер компании вот так влияет на удержание персонала

И самые зоркие заметили логику: чем меньше компания, тем выше текучесть..... Явно вырываются компании 1-24 и 25-100 размером.....
Это наводит нас на грустную гипотезу: текучесть в компаниях с внутренним корпоративным порталом ниже не потому, что там есть интранет, а потому что они больше, а в компаниях бОльшего размера просто чаще бывает внутренний корпоративный портал. Осталось математически проверить. Для спецов скажу, что в нашем случае в регрессию Кокса можно и нужно добавить параметр strata, и в целом покажу картинку для компаний размера от 1 000 до 10 000 работающих. Просто потому, что таких компаний больше всего.

Линии пересекаются, значимость выше заветных 0, 05, предиктивная ценность тем более никакая

Резюме:

На сегодня у нас нет данных о том, что наличие внутреннего корпоративного портала снижает текучесть персонала. Что еще интереснее, если мы принимаем наличие внутреннего корпоративного портала как показатель развитости корпоративной культуры, то у нас нет данных, которые бы говорили в пользу гипотезы, что в компаниях с развитой корпоративной культурой ниже текучесть персонала.
Ага, вот так обманул ожидания.

Понравился пост?

и Вы захотите выразить мне благодарность за интересные результаты, просто покликайте на директ рекламу ниже на странице - у вас это отнимет несколько секунд, а мне принесет немного денег.
Можно сделать перевод на карту Сбербанка 50-100 рублей,
Номер карты 676 280 38 921 538 46 57 - укажите "за результаты исследования".
И участвуйте в исследовании!

Почему мы задерживаемся на работе по собственной инициативе?

Решил поработать с еще одним параметром вовлеченности: задержками на работе по инициативе работника (см также пост на эту тему Ключевые драйверы вовлеченности персонала (один из параметров)). Чтобы исключить споры, являются ли "задержки на работе по инициативе работника" параметром вовлеченности, сошлюсь на исследования Evolv Ключевые факторы удержания и текучести персонала. У нас в итоге неплохая картина драйверов вовлеченности персонала набирается.

В нашем исследовании (поучаствуйте уже, а?) было два вопроса на тему переработок: 

• Задерживались (задерживаетесь) ли вы на работе?
• По чьей инициативе эти задержки

Я поставил задачу: какие факторы определяют наше собственное желание задерживаться на работе. Не приказ начальника, не объем работы, а именно наше собственное желание. Переменную Y я сделал такой:

• 1 - работник задерживается по собственной инициативе на работе(1264 респондента указали этот вариант);
• 0 - работник в принципе не задерживается / не задерживался на работе (252 респондента выбрали этот вариант).

Результаты:

Сразу покажу самый приятный результат

 Респонденты исследования также проходили тесты Лаборатории Гуманитарные Технологии, на диаграмме выше представлен результат для шкалы Консерватизм - Новаторство. 

• Шкала X - шкала теста
• шкала Y - 1 - те, кто задерживаются по собственной инициативе на работе, 0 - никогда не задерживаются / не задерживались. 

Приятно, что шкала дифференцирует. Это вполне согласуется с результатами исследования компании Evolv, где инновативные по своей природе люди склонны задерживаться на работе.
Теперь к остальным результатам. 

Качество модели

Качество модели просто офигенно крутое, но далее мы поймем почему.

Важность факторов

Можно кликом увеличить картинку. 'exp' - это стаж работы в компании, 'age' - возраст работника на момент трудоустройства.
Теперь понятно, почему наша модель имеет такое высокое качество: на первом месте у нас практики компании: оплачиваются ли переработки или нет, на втором тоже ожидаемо позиция руководителя - задерживается ли он сам на работе или нет.

Возраст при трудоустройстве и стаж работы

Более зрелые и с бОльшим стажем работники чаще задерживаются на работе - решил не перегружать пост картинками, поверьте на слово, или возьмите у меня данные, проверьте сами

Интенсивность взаимодействия с коллегами

Диаграмма показывает связь между фактором задержек на работе (колонки) и фактором интенсивности взаимодействия с коллегами. В ячейках данные, нормированные по строкам (и дальше также). Т.е. Среди тех респондентов, кто указал, что у них значительная и крайне значительная степень взаимодействия с коллегами, 88 % задерживаются  на работе по собственной инициативе, или в 7 раз чаще задерживаются, чем не задерживаются, среди тех, у кого взаиможействие незначительное, таких всего в 2 раза больше.
Это важный методологический вопрос, который показывает связь обоих факторов вовлеченности: задержек и взаимодействия на работе. И важно, что за драйверы интенсивности взаимодействия далеко не на 100 % совпадают с драйверами задержек (см. пост Ключевые драйверы вовлеченности персонала (один из параметров)).

Социальная сеть как предиктор вовлеченности

Ответ на другой вопрос исследования "В какой соц сети вы проявляете максимальную активность" позволяет дифференцировать тех, кто задерживается на работе по своей инициативе, и тех, кто никогда не задерживался.
Фейсбучники оказались самыми вовлеченными. И если результат ВКонтакте можно объяснить возрастом (в этой сети сидят более молодые респонденты, и мы выяснили, что задерживаются на работе более зрелые), то результат Одноклассников можно, наверное, объяснить характером работы: там сидят люди не творческих профессий.

Время между работой и домом

Потрясающий результат! Я ожидал, что живущие рядом с работой будут и задерживаться чаще. Фиквам!

И личностные качества

Про консерватизм и новаторство уже показал.

вербальный IQ

В данном случае думаю, что не вербальный IQ причина вовлеченности, а следствие того, что на позициях, где требуется вовлеченность или задержки, работают работники с более высоким IQ.

Импульсивность - самоконтроль

Круто, правда?) Более импульсивные работники задерживаются на работе чаще... Типа: "Мой друК, отчизне посвятим души прекрасные порывы". Тоись, люди с самоконтролем успевают гасить свои прекрасные порывы.
Вот на этой оптимистичной ноте я попрошу вас не гасить свои прекрасные порывы, а выразить мне благодарность путем кликанья на директ рекламу.
Или можно сделать перевод на карту Сбербанка рублей 50 или 100.
Номер карты 676 280 38 921 538 46 57 - укажите "за результаты исследования".
И участвуйте в исследовании!!!

Лучшие посты блога по hr-аналитике 2016

Решил подвести итоги года. Свел посты, которые имели максимальное количество просмотров. И, конечно, мне они запомнились. Даю в порядке хронологии.

1. Пакетное управление компенсационным пакетом (какие опции компенсационного пакета надо совмещать) - посмотрел наиболее популярные кластеры (сочетания) опций компенсационного пакета, и как они влияют на текучесть персонала.
2. Периодичность выплат премии и текучесть персонала - интересный результат о связи между тем, насколько часто платят премию и платят ли и текучестью персонала. Я, правда, надеялся, что кто-то "очистит" влияние других факторов, но ... никому это не надо(
3. Он-лайн курсы для hr-специалистов на курсере - не совсем про аналитику, про то, где HR могут свое образование повысить бесплатно. Но опять же, я еще розовые очки носил и верил, что HR не только смотрят посты, но и учатся на курсах. Как показывает практика, на 1 000 просмотров менее 1 % тех, кто записался на курс. 
4. Почему подчиненные уходят от руководителей - я построил уравнение не по стажу работника в компании, а по времени совместной работы с руководителем. Показываю факторы, влияющие на время совместной работы. 
5. Почему HR должны отказаться от профиля успешности - важный методологический пост. Никакой реакции рынка я не увидел, нигде это не обсуждают. Но пост не теряет от этого своей ценности. 
6. Браузер скажет о кандидате то, что не скажет уровень учебной успеваемости - переводная статья, с важным обсуждением результатов. 
7. С кем чаще расстаются работодатели - пост Людмилы Роговой. Кажется, ее первый пост и продержался в топе просмотров месяца два.
8. Тематический анализ отзывов на Банки.ру. На что жалуются сотрудники - также пост Людмилы Роговой. Едва ли не самый ценный пост года. Готовая технология мониторинга HR-бренда компании. Сколько было вопросов и заказов? Правильно - 0! 
9. Еще раз про миф в оценке персонала - не только один из самых просматриваемых, но и самый обсуждаемый пост оказался, я же больше утвердился в правоте поста. 
10. Какой функционал HR самый дорогой или кто в HR получает больше - этот пост для меня, наверное, самый ценный. Текст - нестуктурированные данные, которые мы, тем не менее, можем использовать в алгоритмах машинного обучения вместе с цифровыми переменными. В HR это чревато, например, тем, что мы можем математически оценивать эссе кандидата при приеме на работу. И это только 0, 5 % возможностей применения.
11. Психологические портрет HR: чем HR отличается от других профессий - достаточно простой пост, но в силу полученных результатов вызвал реакцию на рынке, и был обсуждаем. Меня попинали, но я ответил на все вопросы. И считаю, что все формулировки поста корректны и правильны.
12. Как правильно выбирать HR-метрики - уже три года кричу на рынке про это, но ни одного реального кейса от коллег не увидел, поэтому продолжаю показывать примеры на данных моего исследования.
13. Бенчмарки зарплат HR в Украине. В сравнении с Россией - вызвал интерес в Украине, в первую очередь. Мне важен тем, что я набрал достаточное число респондентов по Украине, чтобы показать бенчмарки. 
14. Netflix как система подбора персонала и создания команд - важный методологический пост. У меня есть набор данных 360 градусов от одной компании, на котором я натренировал свою первую рекомендательную систему. Скажу прямо: российскому менеджменту придется сделать над собой усилие, чтобы 360 превратилась в инструмент обратной связи. 

.................
Также напоминаю, что семинар Аналитика для HR состоится в Москве 13-14 апреля, по ссылке - описание и форма регистрации.

Понравился пост?

и Вы захотите выразить мне благодарность за интересные результаты, просто покликайте на директ рекламу ниже на странице - у вас это отнимет несколько секунд, а мне принесет немного денег.
Можно сделать перевод на карту Сбербанка, 50 или 100 р.
Номер карты 676 280 38 921 538 46 57

Ключевые драйверы вовлеченности персонала (один из параметров)

Это пост для HR-аналитиков, все остальные могут проходить мимо либо участвовать в исследовании факторов текучести, на основе которого построен этот пост.
В нашем исследовании есть такой вопрос: Просим оценить интенсивность взаимодействия с коллегами. И варианты ответов:

• крайне значительная;
• значительная;
• средняя;
• незначительная;
• крайне незначительная.

И пост назван про драйверы вовлеченности персонала, поскольку уровень / интенсивность взаимодействия - один из показателей вовлеченности. Если мы понимаем уровень взаимодействия не как предписанный бизнес процессами и/или регламентами, а как степень включенности работников компании в бизнес процессы, как уровень заинтересенности, как уровень вовлеченности.
Самое приятное в этом вопросе, что он связан с текучестью

Риск увольнения респондента, который указал вариант "незначительная" в 1, 5 раза выше, чем у того, кто указал "значительная". Конкорданс = 0, 55. Маловато, но кто сказал, что будет легко.
Возникает соблазнительная мысль использовать этот вопрос в качестве предиктора увольнения в компании: провели опрос, выявили тех, кто указал, что интенсивность взаимодействия низкая и ага....
И вот тут ага не срабатывает. Старый добрый "корреляция не есть причинность" мешает нам принять этот вопрос на вооружение. Ну т.е. по русски: с чего мы взяли, что интенсивность взаимодействия определяет текучесть, а не стаж работы определяет выбор респондента? Ведь кажется логичным: чем дольше мы работает в компании, тем больше у нас связей, тем больше мы общаемся и все такое. Врубившись в эту логику, я забил на этот вопрос, оставив до лучших времен.

Решение

Не уверен, что настали лучшие времена, но мысль одна возникла, что можно сделать.
Я решил спрогнозировать выбор респондентом интенсивности взаимодействия. И если выяснится, что данный выбор определяется личностными качествами работника (у нас есть результаты тестирования респондентов по тестам КТО и Биг5) и/или практиками компании, то мы почти уверенно можем применять этот вопрос в корпоративных опросах как показатель вовлеченности, если хотите.
Результат
Запустил я модель классификации, где

• 1 - вариант, объединяющий вариант ответа "крайне значительная" и "значительная" (всего таких респондентов оказалось 694);
• 0 - вариант, объединяющий вариант ответа "крайне незначительная" и "незначительная" (268).

Как вы заметили, я исключил вариант "средняя", чтобы усилить эффект.
Модель оказалась не самая лучшая быть может.

Самое вкусное

Кликайте на картинку для увеличения.
Самый важный фактор - возраст на момент трудоустройства.

Глазом я не вижу никаких различий, но интенсивность выше у более молодых. Во-многом влияет факт, что в исследовании много рекрутеров - рекрутерш молодого возраста, которые много общаются (я использую глагол "общаться", хотя в вопросе просил оценить уровень взаимодействия, я понимаю, что глаголы не идентичны, но использую как синонимы дальше). Это же подтверждается уровнем позиции (Специалист), размером компании (1-24 это в первую очередь рекрутинговые компании, которые и идут дальше по списку).

Личностные качества

Среди результатов теста наиболее важным обозначена шкала Независимость - Согласие. Независимые общаются с меньшей интенсивностью, что по идее выглядит логичным.
Порадую психологов: экстраверты общаются с чуть большей интенсивностью, чем интроверты.
А вот картинка про Числовой IQ

Вот какая беда: чем лучше вы умеете обращаться с цифрами, тем меньше общаетесь....

Практики компании

Отличались ли договорённости по зарплате на собеседовании при приеме на работу и при первой выплате

По строкам варианты ответов на вопрос "Отличались ли договорённости по зарплате на собеседовании при приеме на работу и при первой выплате", колонка 1 - значительная степень общения, 0 - нет. Нормирование по строкам. Видно, что те, кто не нае обманули с зарплатой, общаются с большей интенсивностью. Хотя казалось бы.

Офисное пространство

Логика диаграммы аналогична той, что выше. Удаленный доступ влияет на степень общения, да. А вот кабинетная рассадка и оупен спейс практически не различаются. Возвращаемся в кабинеты.

Возраст руководителя

И не стал я наводить марафет,даю без выстраивания в порядке убывания, но разберетесь: более молодой руководитель не способствует интенсификации взаимодействия с коллегами. Отсюда рождается гипотеза, кто у респондента главный коллега.

Резюме

Таким образом, мы установили связь между личностными качествами, практиками компании и выбором респондента уровня взаимодействия с коллегами. Я бы рекомендовал использовать данный вопрос в корпоративных исследованиях / опросах с целью прогноза текучести персонала. Если у вас опрос анонимный, вы можете мониторить уровень интенсивности взаимодействия с тем, чтобы понимать, что вам грозит в целом. Буду благодарен, если вы меня привлечете к построению дизайна корпоративного опроса с использованием данного вопроса (это может быть "банальный" опросник вовленности), или просто поделитесь результатами.
И блин, это очень важный и интересный результат нашего опроса.

Понравился пост?

и Вы захотите выразить мне благодарность за интересные результаты, просто покликайте на директ рекламу ниже на странице - у вас это отнимет несколько секунд, а мне принесет немного денег.
Можно сделать перевод на карту Сбербанка,
Номер карты 676 280 38 921 538 46 57 - укажите "за результаты исследования".
И участвуйте в исследовании!

Семинар-практикум "HR-Аналитика в R", Москва, 21-22 ноября

Анонсирую свой семинар-практикум "HR-Аналитика в R", Москва, даты 21-22 ноября 2019.

Место проведения: PM Expert
Адрес: г. Москва, ул. Каланчёвская, д. 15, м. Красные ворота

Подать заявку можно в форме ниже

На семинаре разыграем несколько книг по R (литература любезно предоставлена КТК Галактика - это лучшее издательство для аналитиков!):

Почему R

Самый популярный инструмент аналитики в Мире – программа R. В группах по HR-аналитике на linkedin я задавал вопрос, каким инструментом чаще всего пользуются hr-аналитики. Самый популярный ответ - R

Кого бы я хотел видеть на семинаре

• В идеале вы прошли мой Он-лайн курс "Введение в R для HR"
• Или очный семинар  Аналитика для HR.
• Вы знакомы с R на начальном уровне, хотели бы получить знания и навыки анализа данных;
• Вы знакомы со матстатистикой (регрессия, R^2, корреляция, классификация вам знакомы), но не знакомы с R. 
• Вы не знакомы со статистикой, не знакомы с R, но на "ты" с excel - вы не просто знаете формулы, но понимаете дух ВПР и т.п..
• Вы не были на моих семинарах, не знакомы со матстатистикой, не знакомы с R, но у Вас есть желание осваивать новое и, главное, готовность выносить крышеснос.

В любом случае мы будем общаться индивидуально, и вместе принимать решение об участии.

Требования к участникам

Ноутбук с установленными программами R и Rstudio и необходимыми пакетами для работы. После подачи заявки на семинар вы получите ссылки на установку программ, перечень необходимых пакетов для работы, инструкцию по установке, и файл с данными для загрузки.

Формат

Семинар-практикум. В течение двух дней по восемь астрономических часа мы будем решать кейсы по HR-аналитике. 

Результат семинара

• Знакомство с R/Rstudio;
• Понимание круга задач HR-аналитики, решаемых с помощью данного инструмента;
• Знание и применение базовых техник работы в R/Rstudio: загрузка данных, описательные статистики, чистка данных, визуализация данных и т.п..;
• Знание и применение базовых алгоритмов предиктивной аналитики в R/Rstudio;
• Главное: код, который у вас будет в качестве шаблона для анализа, для дальнейшего осмысления и развития.

Содержание

1. Типы задач в HR-аналитике
2. Начинаем работу: Базовые операции
• Загрузка данных;
• Структура данных;
• Типы данных;
• Описательные статистики;
• Подготовка и "чистка" данных (plyr, dplyr, regexr);
• Выбираем необходимый диапазон данных, фильтрация (subset).
3. Построение выводов на основе статистических критериев:
• Формулируем гипотезу;
• A/B testing;
• Проверка нормальности распределения;
• Использование критериев: Хи квадрат, Т- тест, Манн-Уитни, Краскел-Уолисс.
4. Типы моделей
• Регрессия;
• Классификация;
• Дожитие.
5. Подготовка данных.
• Проверка нормальности распределения;
• Преобразование  категориальных переменных;
• Шкалирование и логарифмирование метрических переменных;
• Работа с пропущенными значениями (импутация).
6. Настройка и качество модели
• Показатели качества модели;
• Кросс-валидация;
• Train-test split;
• Выбор гиперпараметров.
7. За пределами линеарности – непараметрические модели
• KNN-алгоритм;
• Решающие деревья (decision trees);
• Случайный лес (Random forest);
• Xgboost
8. Визуализация результатов ggplot2
9. Управление текучестью персонала
• Работа с датами (lubridate);
• Два подхода к построению модели прогноза увольнения;
• Регрессия Кокса.
10. Построение моделей через пакеты фреймфорки: caret, mlr 
11. Временные ряды – time series.
12. Чего не было на семинаре, куда двигаться дальше

Заключение. Подведение итогов семинара

Стоимость участия:

27 500 рублей для юр лиц, 16 500 для физ лиц

Stackoverflow как ресурс развития

Отчасти хвастаюсь, отчасти призываю пользоваться.
Существует такой ресурс Stackoverflow (для программистов? айтишников? аналитиков?). Всем, кто пытался ответ на вопросы про R или Python в интернете, обязательно знаком этот ресурс. Большая часть в поисковых запросах про Python точно ведет на этот ресурс.
Логика ресурса простая: любой желающий может задать вопрос по любому языку программирования, а любой желающий может ответить на ваш вопрос. Любой зарегистрированный на ресурсе может поставить лайк как понравившемуся ответу, так и понравившемуся вопросу. Лайки приносят баллы. Т.е. баллы можно заработать и вопросом. Кроме того, вы, как задавший вопрос, можете выбрать лучший ответ.
Но есть и возможность поставить дис лайк - каждый дис лайк снимает баллы.
Есть модераторы, которые следят за тем, чтобы вопросы соответствовали правилам и нормам сообщества (например, в вопросе должен быть обязательно пример кода).
Система очень простая, но весьма эффективна в мотивации развития, если вы вступаете на путь вопросов и ответов.
Я поначалу получил несколько дис лайков за свои тупые вопросы, и знаете, это очень дисциплинирует. Ты начинаешь корректно формулировать вопрос.
И может быть самое ценное, что я из этого вынес: работа с Toy example - игрушечными примерами: создаешь случайный, небольшой набор данных, на котором пытаешься воспроизвести и решить проблему.
Вот пример вопроса, за который я получил три лайка How to combine multiple cells into a single text сell - суть вопроса проста: когда вы создаете сводную таблицу, то можете агрегировать числовые переменные: считать, суммировать, брать среднее и т.п.. Но если у вас есть текст, то что как объединить текстовые ячейки? И этот вопрос имеет непосредственное отношение к HR -тематике.

И самое приятное 

На прошлой неделе ответил на вопрос и получил сразу три лайка. How to add a column to pandas DataFrame based on the result of a condition.
Логика вопроса такая:
есть переменная со статусом человека (?) - "Blocked" или "Cleared";
есть дата какого-то события, есть дата другого события.
Задача простая: создать новую переменную на основе условий: переменная "BlockedAfter" состоит из двух значений - 1 и 0. 1 присваивается, если статус "Blocked" и дата одного события раньше другого события.
В excel это можно решить формулой ЕСЛИ. В Python я написал такой код

df['ReceiptDate'] = pd.to_datetime(df['ReceiptDate'])
df['IncentiveStart'] = pd.to_datetime(df['IncentiveStart'])
df['time'] = df['IncentiveStart'].values.astype('datetime64[D]').astype(int) - df['ReceiptDate'].values.astype('datetime64[D]').astype(int)
df['BlockedAfter'] = 0
df.ix[(df['time'] > 0) & (df['Clear_Decline'] == 'Blocked'), 'BlockedAfter'] = 1

Код можно было проще написать, без переменной "time", но когда ты видишь вопрос, хочешь ответить быстрее других, то уже в детали не вникаешь.

Резюме

Как только вы в освоении R или Python поднялись выше первого класса общеобразовательной школы, регистрируйтесь на этом ресурсе и развивайтесь. Вопросы развивают не меньше, чем сами ответы. Учитесь задавать вопросы. 

О влиянии индивидуальных особенностей на продуктивность деятельности в течение суток

С наступившим!
Пост в продолжение и, надеюсь, завершение постов

• В какое время суток лучше проходить психологические тесты
• В какое время суток наиболее продуктивны импульсивные люди

Если вы нетерпеливы, сразу вниз к резюме, тут много букфф.
Суть трилогии в следующем: у нас есть 816 респондентов, которые прошли тесты КТО и Биг5 в разное время суток. Первый пост (В какое время суток лучше проходить психологические тесты) не выявил значимых различий в уровне результатов ни по одной из шкал указанных тестов. Но при этом, данный результат не исключает влияния индивидуальных особенностей на результаты тестов в разное время суток.
Я обозначу некую полезную задачу, которую я планировал решить. Поскольку под респондентами я мысленно представляю кандидатов при приеме на работу, то от кандидатов ожидается высокие результаты по тестам способностей. Следовательно, говоря о влиянии индивидуальных особенностей на результаты тестов, я подразумеваю выявление связи между результатами КТО как зависимой переменной и результатами Биг5 (шкалы которого я понимаю как индивидуальные особенности) в разрезе времени суток.
Если совсем просто, то хотелось бы дать рекомендации интровертам, тревожным и/или импульсивным людям рекомендации, в какое время суток имеет смысл проходить тесты способности при приеме на работу, а в более широком смысле - в какое время суток эти люди более продуктивны, понимая под продуктивностью интеллектуальные способности.

Возражения

Возражение 1

Виталий Алтухов указал мне, что идеальный дизайн исследования о влиянии индивидуальных особенностей на результаты тестов был бы такой, при котором одни и теже люди проходили одинаковый для себя банк заданий в разное время суток. Соглашусь, но 1) у меня нет ресурсов на такие исследования (у Виталия, может быть, и есть и 2) надо контролировать переменную "загрузку в течение суток прохождения тестов", чтобы быть уверенным, что загрузка была равномерная во все дни тестирования.
В ответ на это возражение стал пост В какое время суток наиболее продуктивны импульсивные люди. Я выделил группу импульсивных и не очень импульсивных людей и посмотрел, какие результаты по тестам способностей показывают две эти группы товарисчей в разрезе времени суток.
Результат нулевой: мы не выявили различий.
Главная проблема для меня здесь в том, что это лишь одна из частных гипотез, она не опровергает влияния индивидуальных особенностей на результаты тестов, у нас есть еще четыре шкалы теста Биг5, кроме того, тот же Виталий Алтухов заявил, что лучше брать деление не по линии медиан, а меньше 3,5 стена и выше 7, 5 стена, как крайние группы. Кроме того, можно брать строгое неравенство (больше), а можно нестрогое (больше или равно). И в каждом новом случае мы получим новые наборы данных. Таким образом задача может превратиться в бесконечную задачу перебора вариантов.

Возражение 2

Собственно, не возражение, а методология. Виталий утверждает, что мы, скорее, смотрим не влияние индивидуальных особенностей на результаты тестов в разрезе времени суток, а лишь то, в какое время суток предпочитают проходить те или иные психотипы. Это проклятие статистики под названием "корреляция не есть причинность".
По простому: если мы выявим, что люди, проходившие тест вечером, показывают более высокие результаты по импульсивности, то возможны две интепретации полученных результатов:

1. импульсивные люди предпочитают проходить тесты вечером;
2. вечером у респондентов повышается импульсивность.

Я просто отмечаю это возражение, но замечу пока, что я, как исследователь, вправе формулировать любой вариант, главное, чтобы полученные результаты не противоречили моей гипотезе.
И я формулирую

Решение

Я решил универсально решить задачу (не прошу прощения за тавтологию). Я решил построить модель регрессии, взяв за Y общую шкалы теста способностей КТО (как самую универсальную), а в качестве предикторов взял пол, возраст, вемя суток и шкалы теста Биг5.
Идея была проста: уж пол то точно имеет дифференцирующую способность (дамы простите, но у мужчин КТО выше, см рисунок ниже)

KruskalResult(statistic=6.2923885339728649, pvalue=0.012125753573647643). Зацепившись за пол, алгоритм машинного обучения вытащит различия по шкалам Биг5 и, самое важное, по времени суток.
Такие результаты нам бы дали как минимум направление для поиска- куда копать.
Но на третьем шаге тренировки параметров модели я бросил это увлекательное занятие по простой причине: показатель R^2 был равен на этом шаге 0. И даже если бы в конце концов я натренировал модель до 3-4 %, что маловероятно, то в этом случае пришлось бы признать: результат может быть и имел бы академическую ценность, но практической ценности при 3-4 % объясненной дисперсии нет никакой.
Для очистки совести я еще повозился с разными шкалами в разных разрезах, например, результаты теста КТО в разрезе шкалы "Независимость - Согласие" теста Биг5 и в разрезе времени суток. Причем сделано по рецепту Виталия - крайние квартили взяты только

Или вот тоже самое, но со шкалой тревожности

И везде Краскал Уолисс говорит нам об очень слабой связи. В одном месте мы получили p-value 0, 04. Но при таком количестве сравнений poct hoc анализ типа поправки Бонферрони наложит нам запрет на всякую мысль сослаться на этот результат как значимый.

Резюме

Подразумевая под индивидуальными особенностями показатели респондента по тест Биг5, мы на сегодняшний день не можем давать рекомендации, в какое время суток лучше проходить тесты способностей, в какое время суток тот или иной психотип более продуктивен.
Спецов прошу попинать меня, может быть найдем новый заход на проблему.

Понравился пост?

и Вы захотите выразить мне благодарность за интересные результаты, просто покликайте на директ рекламу ниже на странице - у вас это отнимет несколько секунд, а мне принесет немного денег.
Импульсивные люли могут сделать перевод на карту Сбербанка,
Номер карты 676 280 38 921 538 46 57 - укажите "за результаты исследования".
И участвуйте в исследовании!

В какое время суток наиболее продуктивны импульсивные люди

Посвящение
Посвящаю пост Кате Орел, кандидату психологических наук из Вышки, девушке, которая мне лично симпатична, но которая почему то меня при случае пинает с удовольствием. Обещал ей посвятить пост о связи функций HR и тестов КТО и Большой пятерки, но у нас данных кот начихал, поэтому ждать Екатерине придется не быстро. Поэтому тот пост я обязательно посвящу, а этот просто бонусом.

Ну про сам пост

В прошлом посту В какое время суток лучше проходить психологические тесты я получил результаты, которые можно резюмировать следующим образом:

1. ночников (тех, кто проходил тестирование ночью) у нас всего 40, и я не уверен, что это не bias, поэтому рекомендую не смотреть на отклонения ночников. 
2. если убрать ночников, то мы показали, что утренники, дневники и вечерники не показывают значимо различных результатов.
3. это не гарантирует отсутствия индивидуальных рекомендаций, но сами индивидуальные рекомендации я пока обозначил в самом общем контуре, это даже не гипотеза, а приглашение подумать. Т.е. по простому: мы на основании полученных результатов еще не можем сказать: проходите, когда вам удобно, поскольку какие-то индивидуальные особенности могут влиять на успешность прохождения тестов, и, соответственно, возможны, индивидуальные рекомендации по времени прохождения тестов. 
4. эти самые индивидуальные рекомендации по времени прохождения тестов возможны, если найдем психотипы (например тупо взять шкалу импульсивности, поделить на ниже и выше медианы и посмотреть результаты КТО этих двух групп утром, днем и вечером). Но это во многом интуитивная работа, количество возможных версий и гипотез мама не горюй, поэтому я пока не знаю, как найти принцип.

Собственно, на данное резюме меня подвинул Виталий Алтухов в комментах к предыдущему посту, и спровоцировал меня на этот пост.

Сами результаты

Мне бы хотелось понять, как создать сам принцип выделения индивидуальных особенностей, чтобы не делать кучи работы впустую, но ждать можно до морковкиного заговения, помощь не придет, поэтому я решил гипотезу про импульсивных проверить.
Моя гипотеза была очень простой: я предположил, что нервная система импульсивных товарисчей более слаба, чем у людей с противоположным качеством - Самоконтролем, что люди с самоконтролем показывают более стабильные результаты деятельности в течение рабочего дня, чем импульсивные. А импульсивные быстрее разряжаются. Следовательно, импульсивные показывают более высокие результаты утром.
Проверка
Я поделил выборку респондентов на две группы:

• 0 - импульсивные, показатели по шкале "Импульсивность - Самоконтроль" ниже или равно медиане, всего 468 респондентов;
• 1 - самоконтрольные, показатели по шкале "Импульсивность - Самоконтроль" выше медианы, 348 респондентов.

Далее я посмотрел показатели этих двух групп в сравениии между собой и по времени суток: утром, днем и вечером (как я делил по времени суток читай в посте В какое время суток лучше проходить психологические тесты). Результаты на картинке:

• 'overall' - Общая шкала по КТО,
• 'verbal' - вербальнй IQ, 
• 'erudition' - эрудиция,
• 'numerical'- числовой IQ,  
• 'data processing' - обработка информации.

Мы видим, что за исключением диаграммы по шкале "Обработка информации", результаты везде идентичны. А вот конфигурация диаграммы "Обработка информации" очень похожа на нашу гипотезу: у импульсивных людей обработка информации вечером имеет более низкие результаты, чем утром и днем, а у людей с самоконтролем обработка информации западет утром.
Остается определить значимость различий. Наш старый добрый Краскел Уолисс говорит нам: KruskalResult(statistic=6.3022472186721323, pvalue=0.27790981235437723)
И здесь я обращаюсь к импульсивным людям: да проходите тесты, когда вам угодно: утром, днем или вечером. Если мы примем результаты теста КТО за показатель продуктивности умственной деятельности, то можно сделать более важное заявление: продуктивность импульсивных людей не меняется с изменением времени суток.
Этот пост, безусловно, первый слепой шажок в сторону выявления индивидуальных особенностей прохождения тестирования, буду благодарен за ваши соображения по поводу того, какие еще гипотезы можно проверить.

Понравился пост?

участвуйте в исследовании!

В какое время суток лучше проходить психологические тесты

Ровно год назад я уже делал такое же пост В какое время суток лучше проходить психологические тесты. Но:

• тогда данных было значительно меньше;
• я делал в прошлый раз в Rstudio, теперь в Python;
• в этот раз я расширил решения по визуализации.

Данные для поста взяты из нашего исследования факторов текучести персонала (пройдите по ссылке и поучаствуйте!). Прошедшие опрос бонусом могут пройти батарею тестов Лаборатории Гуманитарные Технологии, в батарее два теста, состоящие из десяти шкал (оригинальное название шкалы слева, поскольку оно довольно длинное, я перекодировал для вставки в диаграммы, перекодированное значение идет справа):

1. 'Ш1: "ОБЩИЙ БАЛЛ"' - 'overall',
2. 'Ш2: "ВЕРБАЛЬНЫЙ IQ"' - 'verbal',
3. 'Ш3: "ЭРУДИЦИЯ"' - 'erudition',
4. 'Ш4: "ЧИСЛОВОЙ IQ"' - 'numerical', 
5. 'Ш5: "ОБРАБОТКА ИНФОРМАЦИИ"' - 'data processing',
6. 'Ш6: "ИНТРОВЕРСИЯ - ЭКСТРАВЕРСИЯ"'- "интро-экстра",
7. 'Ш7: "НЕЗАВИСИМОСТЬ - СОГЛАСИЕ"' - 'независимость',
8. 'Ш8: "ИМПУЛЬСИВНОСТЬ - САМОКОНТРОЛЬ"' - 'импульсивность', 
9. 'Ш9: "ТРЕВОЖНОСТЬ - СТАБИЛЬНОСТЬ"' -'тревожность',
10. 'Ш10: "КОНСЕРВАТИЗМ - НОВАТОРСТВО"'-'консерватизм'.

Проблема была только в том, что участники были из разных часовых поясов, а время тестов было указано московское, поэтому пришлось привести в единое временное поле. И я все использовал такое округление: если время начала теста указано как 11:53:27, я указывал начало теста как 11 часов.

Распределение по часам 

На картинке распределение респондентов в зависимости от часа начала прохождения теста. Пик приходится на сразу после обеда, но есть чувак, который в три ночи проходил тест.

Время суток

Поскольку у нас явно недостает данных, чтобы показать значимость различий по часам, я перевожу часы в промежутки "Время суток". Взял промежутки из Википедии:
0-5 - ночь;
6-13 - утро;
14-17 - день;
18-23 - вечер.
Распределение получилось таким

Ночное время явно нас не радует, будет относится к нему с осторожностью.

Основные результаты

Отдельно дам картинку по шкалам КТО (тест способностей) и Big5 (личностный опросник)

КТО

На картинке по каждой из шкал теста КТО даный общие результаты в разрезе времени суток. Медианные значения по шкалам идентичные, не считая отклонений ночников, при этом общий результат по КТО (шкала 'overall') имеет почти 100 % совпадения по времени суток.
И заметьте, какие общие высокие значения по шкале обработка данных.
Если кто-то желает проверить различия результатов теста по критерию Краскелл Уоллис, я могу предоставить данные.

Big5

Шкалы личностного теста показывают аналогичную картину. Ну разве что ночников можно отнести к более импульсивным. Шутка.

Одна мысль

И можно было бы спокойно сказать вам: да проходите тесты тогда, какой вашей душеньке угодно, но я подумал, а вдруг, например, импульсивные респонденты показывают более высокие результаты по числовому интеллекту утром, а стабильные вечером? У меня нет конкретных гипотез, жду я от вас конкретных гипотез, а пока для создания гипотез даю вот такую визуализацию

Можно кликом увеличить диаграмму. Даю сразу десять шкал обоих тестов, а цвет точек обозначает время суток. Что дает эта диаграмма?

• Во-первых, мы можем посмотреть на корреляции шкал тестов между собой, заметно, что шкалы теста способностей коррелируют между собой, и некоторые шкалы личностного опросника коррелируют, например, люди импульсивные имеют тенденцию быть больше новаторами, чем консерваторы, а консерваторы более склонны к самоконтролю и т.п..
• Во-вторых, если моя гипотеза была бы верна, то на пересечении импульсивность - числовой тест в левой верхний части должны преобладать синие точки (утро), а в правой верхней вечерний цвет. Но я нифига этого не вижу, а вот вы мне можете написать про ваши гипотезы, а мы это проверим не через картинку, а математически. 

__________________________________________________________
На этом все, читайте нас в фейсбуке, телеграмме и вконтакте

Статьи по hr-аналитике на английском 11

Одиннадцатый и последний в этом году выпуск дайджеста статей по HR-аналитике на английском. Последний выпуск Статьи по hr-аналитике на английском 10 (через эту статью вы сможете найти все выпуски дайджестов) был 18 декабря.

Конец года время подведения итогов, поэтому пост в некотором смысле резюмирующий:

• 10 predictions for HR in 2017 - Если вы читали раньше мои дайджесты статей по hr-аналитике, то имя автора вам знакомо, если нет, посмотрите предыдущий дайджест. Давид Грин одним из первых дал свой прогноз на следующий год. Резюмирую пост коротко: must read. Для аналитиков это не просто некие теоретические измышления, они наполнены направлением работы, как например, HR programs begin to shift from the individual to focusing on teams.
• В тему прогнозов 2017 даю статью Джоша Берзина (куда без него?), статья старая уже, написана в октябре, но интересно сравнить с прогнозом Грина - HR Technology in 2017: A Disruptive Year Ahead.
• The 40 best HR Analytics articles of H2 2016 - и тот же Давид Грин бросает свой взгляд не в будущее, а в прошлое и список лучших статей по hr-аналитике 2016.
• Highlighted Analytics Articles from 2016 - Трейси Смит Tracey Smith подвела свой список наиболее важных статей 2016 по hr-аналитике.
• И в тему лучших статей 2016 повторю ссылку на статью -The 22 best HR Analytics Articles of the Year 2016 ( Machine Selected & Human Enriched ) - автор Raja Sengupta - один из лучших среди тех, кто руками, а не языком. И список составлен на на основе его личных предпочтений, а на основе машинного алгоритма. 
• How People Analytics Reinvented Employee Engagement Surveys At Google - этот чувак, Steffen Maier, покусился на святое - на опросы в HR. Приведу цитату из статьи автора: "Employee Engagement Surveys are the business equivalent of giving the prisoners in a penitentiary a survey to complete once a year and slide through the bars of their cells. The survey process cements an unequal power relationship.". Кому-то статья поможет взглянуть по новому на использование данных исследований и опросов. 

С учетом того, что две ссылки сами дают ссылки на статьи, а статья Давида Грина про прогнозы тоже склад интересных ссылок, я заканчиваю на сегодня.

Понравился пост?

и Вы захотите выразить мне благодарность за интересные результаты, просто покликайте на директ рекламу ниже на странице - у вас это отнимет несколько секунд, а мне принесет немного денег.

Юбилеи и годовщины как риски текучести персонала

В газете Ведомости вышла недавно статья Как вычислить сотрудников, собирающихся уволиться. В статье описывался опыт управления текучестью на основе машинного обучения, среди прочего там была такая фразу:

В канун годовщин работы в компании или перехода на текущую должность активность поиска работы повышается на 6 и 9% соответственно. Но вскрылись и факторы, не относящиеся напрямую к работе. Это, например, дни рождения – особенно такие важные вехи, как 40 и 50 лет.

Меня эта фраза зацепила. Захотелось проверить корректность этих утверждений для России. Мое преимущество в том, что у меня есть данные для проверки таких гипотез. У вас они же есть: пишите мне, я поделюсь с вами данными, сможете проверить сами любые гипотезы. Но в любом случае приглашаю пройти наше исследование Ключевые факторы текучести персонала.
В вышеуказанном тексте два утверждения, разбираю последовательно

Дни рождения – особенно такие важные вехи, как 40 и 50 лет

Ниже представлена гистограмма увольнения респондентов по возрасту. Здесь представлены увольнения только по инициативе работника.

Я специально выделил вехи в 40 и 50 лет. Заметно, что, по крайней мере, 40 летняя веха выдается над соседними годами. С другой стороны, у нас рядом есть 37 и 38 летние вехи, которые тоже вроде как выдаются над соседними годами. И главная проблема данного анализа - мы не можем применить простой и понятный инструмента - карты Шухарта (а по русски - отклонение выбросов от среднего)  по той причине, что у нас возрасты распределены не равномерно, не как масло на бутерброде, а очень неравномерно.
Резюме: мы должны понять, как считать ожидаемое количество увольнений.
У меня родилась такая идея (воруйте идею): я вычисляю медиану стажа этих респондентов, далее я к возрасту трудоустройства прибавляю эту медиану стажа и получаю ожидаемое распределение увольнение по возрасту. Если вы не согласны или готовы предложить своб методику расчета ожидаемого распределения - буду рад услышать.
У меня получилась вот такая картина.

Становится очевидным, что 40 летний рубеж на самом деле отличается от тренда, и мы не отклоняем утверждение компании СЕВ, но с другой стороны 37 и 38 летние увольнянты тоже выбросы. Поэтому утверждение про 40 летних на фоне 37 и 38 летних немного блекнет.

В канун годовщин работы в компании или перехода на текущую должность активность поиска работы повышается на 6 и 9% соответственно

Сразу предупреждаю, тут я получил какую интересную хреновину.
Во-первых, пришлось почистить от мусора, во вторых, я убрал всех со стажем меньше полугода (ну это тоже мусор, поскольку им не дожить до своей годовщины). А дальше следите за руками шулера: я взял дату увольнения как порядковый номер даты года (т.е. 1 января будет номер 1, 31 декабря будет номер 356) и отнял из нее порядковый номер даты трудоустройства.
Для любителей Python дарю код

df['diff'] = pd.to_datetime(df['Дата увольнения ']).apply(lambda x: x.dayofyear) - 
pd.to_datetime(df['Дата трудоустройства']).apply(lambda x: x.dayofyear)

Гипотеза проста: дата увольнения и дата приема никак не связана, и распределение будет как масло на бутерброде - равномерным или однородным. Типа как на картинке

Т.е. если вы трудоустроились в июне, то уволится вы можете с равной вероятностью в мае, том же июне и феврале. Но я получил вот такую картинку

По оси X - число дней разницы (в абсолютном значении - по модулю) между днем трудоустройства и днем увольнения.
Никак не похоже на однородное распределение.
Как это объяснить?
Единственный подвох я вижу в плохой памяти респондентов, которые на глазок заполняют даты трудоустройства и увольнения, и неосознанно сближают эти даты...
ПОЭТОМУ! Жду от вас (edvb@yandex.ru) ваши данные по трудоустройству и увольнению. Формат файл excel, который содержит две колонки: дата трудоустройства и дата увольнения. И ессессно речь идет только о добровольной текучести: работники сами принимают решение об увольнении.
Но как минимум мы не опровергли утверждение чуваков из CEB, а как максимум мы вышли на важный предиктор текучести персонала.
Ну а я разве не заслужил награды?

__________________________________________________________
На этом все, читайте нас в фейсбуке, телеграмме и вконтакте

И участвуйте в исследовании!

Кто может рассчитывать на благодарность руководителя

В нашем исследовании (пройдите по ссылке и поучаствуйте в исследовании) был вопрос: Благодарил ли Вас Ваш руководитель за достижения? с четырьмя вариантами ответов:

• Да, практически все достижения были отмечены моим руководителем;   
• Если не все, то многие;
• Получал лишь изредка ;                                            
• Нет.

Я взял для простоты анализа два крайних варианта: "Да, практически все достижения были отмечены моим руководителем" и "Нет" и проанализировал, какие переменные влияют на то, что руководитель отмечает все наши заслуги или же совсем нас не замечает не благодарит. Выборка и по крайним вариантам получилась неплохая:

• 864 респондента отметили, что руководитель отмечает все их заслуги;
• 832 - совсем не отмечает

Тема эта крайне важна, поскольку Благодарность руководителя в другом моем анализе - самый важный фактор, влияющий на текучесть персонала Почему подчиненные уходят от руководителей. И управление благодарностью является частью программы удержания персонала.
Почти поровну, а значит выборка почти идеально сбалансирована.
Начну с показателей качества модели

Качество неплохое, но не забываем, что я взял два крайних вариант - самых хороших и самых плохих руководителей, а промежуточные варианты нам размоют эту точность, и на практике модель будет совсем другой. И тем не менее, в исследовательских целях, для выявления драйверов благодарности руководителя, этот результат совсем неплох.

Факторы

Я показываю только топ факторов (кликните на картинку для увеличения масштаба). Для меня много неожиданного. В первую очередь, высокая важность психологических качеств респондента. При этом, обращаю ваше внимание, "благодарит" / "не благодарит" не объективная картинка, а ответ респондента, Поэтому корректная формулировка звучала бы так: "какие переменные определяют выбор ответа респондента "благодарит" / "не благодарит"".
Для аналитиков скажу, что, конечно же, я делал скейлинг переменных, все переменные в масштабе от 0 до 1.

Возраст

Жаль, что не хватает картины со стороны самих руководителей, но более возрастные респонденты указывают, что их благодарят реже. Медианная разница в пять лет - ничего себе разница так то.

Общий балл

Имеется ввиду общий балл по тесту способностей, почти IQ.

Прикольно, правда? Умных руководители благодарят реже. Я думал, что такой результат связан с тем, что интеллект связан с возрастом: более зрелые имеют более высокие показатели способностей, а поскольку более зрелых реже благодарят, то интеллект опосредует благодарность. НО! Коэффициенты корреляции пирсона и спирмена показывают всего-то 0, 07 и 0, 06 значение, поэтому за связью показателей Общей шкалы способностей и благодарностью со стороны руководителя стоит другое объяснение. Как вариант: умные лучше отличают благодарность от манипуляции. Жду ваших вариантов объяснения, почему руководители благодарят умных реже.

Независимость - Согласие

Здесь картина вполне согласуется со "здравым смыслом" - склонных к своему мнению, независимости руководители благодарят реже.

Интроверсия Экстраверсия 

Этот результат мне не очень понятен, экстраверты чаще получают благодарности, но при этом, как я показал в другом исследовании, они более склонны к текучести. Получил благодарность и пошел дальше?
Или интроверты просто не замечают благодарности?

Импульсивность - самоконтроль

И еще одна странная картина: склонные к самоконтролю реже получают благодарность. Такие дела, брат.

Пол руководителя - пол подчиненного

• По оси X: 1 - руководитель благодарит подчиненного, 0 - нет
• По оси Y отношение полов подчиненный - руководитель. Первая буква - пол подчиненного, вторая - руководителя.
• в ячеек - % от суммы по строке. 

Т.е. заметно, что чаще всего благодарит подчиненного мужчину женщина руководитель, реже всего мужик мужика. А вы говорите, женский коллектив.....

И последнее. Задержки руководителя

Имеется ввиду, вопрос "Задерживался ли ваш руководитель на работе"

Логика диаграммы, как выше. Отличия заметны. Ау, руководители! Организуйте работу так, чтобы работники не оставались после вашего ухода на работе!

И вот такая картинка

• По оси X - Общий балл по тесту способностей;
• по оси Y - возраст
• Синие точки - респонденты указали, что руководитель все их заслуги подчеркивает, красные - ни одной благодарности.

По концентрации точек (лень делать decision tree) заметно, что если вы до 30 лет с показателем по интеллекту 6-7,5 баллов, то благодарность руководителя вам обеспечена!
Но если вы старше 30 с высоким интеллектом, интроверт с собственным мнением, да к тому же ваш руководитель - мужчина, то не ждите благодарности!

Понравился пост?

и Вы захотите выразить мне благодарность за интересные результаты, просто покликайте на директ рекламу ниже на странице - у вас это отнимет несколько секунд, а мне принесет немного денег.
Или сделайте перевод на карту Сбербанка,
Номер карты 676 280 38 921 538 46 57 - укажите "за результаты исследования".
И участвуйте в исследовании!