.

Сделать репост в соц сети!

пятница, 24 мая 2019 г.

Пошаговое руководство по проблемам развертывания моделей машинного обучения

Перевод статьи A Step-by-Step Guide to Machine Learning Problem Framing в рамках нашего проекта переводы статей по hr-аналитике на английском.
Перевод сделала Ляйсан Рамазанова (ссылка на профиль ВКонтакте - присоединяйтесь). Ляйсан - студент магистерской программы HR-аналитики Татнефти (см. В России появилась первая магистерская программа "HR-аналитика"!). Это первый перевод Ляйсан в нашем блоге.

Итак

Пошаговое руководство по проблемам развертывания моделей машинного обучения

Погружаясь в машинное обучение без знания того, что именно вы собираетесь этим достичь – это залог провала. Давайте положим хорошее начало с этим пошаговым руководством по предотвращению катастрофы.
Пошаговое руководство по проблемам развертывания моделей машинного обучения


За последние четыре года (в Google, и до этого в Comet Labs) мне довелось работать с сотнями стартапов и компаний по всему миру для того, чтобы помочь им определиться с их стратегией машинного обучения (МО), начиная от постановки задач до полного внедрения модели машинного обучения (МО), функционирующей в промышленной среде. Мы работали вместе над развертыванием модели для повышения эффективности работы (к примеру, внутренняя оснастка, DevOps - интеграция разработки и эксплуатации, и т.д.), избавлением от узкого места (к примеру, присваивая группе по обслуживанию клиентов «волшебные силы»), разрабатывали функциональные возможности машинного обучения (МО), и создавали новые проекты вместе.
В процессе работы мы подошли к развертыванию машинного обучения (МО) со всех сторон: технологическая реализация, разработка продукта, организационной структуры и культуры, управление персоналом, выход на рынок/установление цен/монетизация/ UI/UX и т.д. Во всяком случае, мы всегда начинали с сосредоточения на постановке задач, которые стремились решить благодаря модели машинного обучения. Этот статья сосредоточена главным образом на лучших практиках для определения вашей модели машинного обучения как успешной, масштабной, достоверной.
Перед тем, как вы прочтете эту статью, и проведете обсуждение проекта, у Вас должен быть четкий дальнейший план действий для направления первоначальной реализации вашего машинного обучения.

Шаг 0. Проведите предварительную проверку работоспособности.

Вне зависимости от этапа вашей компании, Вам следует сначала выполнить критический разбор текущей рабочей практики, узких мест, возможностей для роста, и предполагаемое развитие новых функциональных возможностей и продуктов. Существует множество способов максимально использовать машинное обучение как часть решения. Помните, что весьма вероятно, многие составляющие вашего бизнеса будут «общаться друг с другом» и воздействовать друг на друга после развертывания инфраструктуры анализа данных.

Сделайте свой бизнес более эффективным (более дешевым в эксплуатации).

Задайте себе следующие вопросы: Какие процессы являются основными для вашего бизнеса? Могут ли какие-либо из них (в будущем) оптимизированы? Просмотрите процессы, маркетинг, разработку продукта и т.д. Сколько времени/денег вы могли бы сэкономить от оптимизации одного трудового процесса другим? Сколько времени, вы думаете, займет, чтобы запустить автоматический рабочий процесс? Как вы планируете сохранить людей, нуждающихся в обучении? Где в вашем процессе потребуются люди?
Не забывайте, что этот процесс вероятнее всего будет болезненным, но это позволит Вам все в большей мере принимать решения на основе фактических данных, и сплотить людей в поддержку данных, а не произвольного процесса принятия решения.
Выбор одного рабочего процесса для оптимизации его машинным обучением, совместно с созданием мощной инфраструктуры анализа данных, позволит Вам последовательно оптимизировать все больше процессов и, возможно, даже приведет к разработке функциональных возможностей продукта.
Один из стартапов, с которым мы недавно сотрудничали, осознал, что одна из программ по обучению сотрудников стоила им 15 миллионов долларов в год. Они пытались выяснить, как автоматизировать раздел оценивания для процесса обучения с целью освобождения времени, которое люди тратят на оценку, чтобы удвоить усилия на обучении потенциально успешных сотрудников. Реализация их процесса, основанного на машинном обучении, позволило им снизить цену примерно на 30% после первого внедрения, а также начать обучение НПЛ-модели, которая с тех пор была включена в их продукт, в интересах повышения качества оказываемых ими услуг клиентам.

Дайте вашей команде и пользователям суперспособности.

Задайте себе следующие вопросы: Существуют ли внутренние инструменты, которые вы могли бы разработать, чтобы сделать ваших сотрудников, пользователей, и/или других лиц в вашей цепочке ценностей более эффективными?
Можете ли вы освободить время ваших сотрудников на должном уровне (в требуемом масштабе), например, настраивая, путем добавления элементов, аналогичных использованным средствам взаимодействия, или стандартизации процессов и типовых форм для стандартизации предоставления услуг. Можете ли вы в максимальной степени использовать опыт ваших сотрудников и других заинтересованных лиц в «маркировке» вашего набора данных, который, в конечном счете, приведет к лучшей предлагаемой продукции в целом.
К примеру, другой стартап, с которым мы сотрудничали, разработали «направляющую» функциональную возможность для их продукта, который генерировал тепловую карту вокруг аномалий на медицинских изображениях (снимках), на которые доктора должны обратить особое внимание. Это позволило докторам проводить примерно на 50% меньше времени, которое они тратили на сканировании изображений для аномалий, находящихся на высоком уровне, и сфокусироваться на статистически существенных частях на изображениях. Доктора потом добавляли ярлыки и примечания на эти изображения, которые затем возвращались в модель в качестве функциональной возможности. Их модель, полученная по результатам обработки, постоянно становится все более точной.
Отметим, что они не начинали, говоря, что «Модель машинного обучения должна иметь 99% точности», вы начинаете, говоря, что «продукт в совокупности должен иметь 98% точности», и чтобы добиться этого, мы можем использовать модель машинного обучения, которая имеет 99% точности на 90% входных параметров, но не принимает решения в 10%, и пропускает их группе специалистов, состоящих из трех экспертов - радиологов.

Вывести функциональную возможность или продукт машинного обучения на рынок

Задайте себе следующие вопросы: Какой набор данных вы собираете через существующий продукт/сервис? Сведения о действиях пользователя, обслуживании клиентов, и прочие? Как бы вы могли максимально использовать эти данные для разработки лучшего и более индивидуального предложения? Не могли бы вы в действительности построить совершенно новый продукт, целиком основанный на этих данных? Что если вы примите во внимание пример использования основополагающих принципов, сможете ли вы разработать совершенно новый продукт, основанный на сочетании существующих и новых источников данных?
Например, одна команда, с которой мы работали, совершенно изменили свою точку зрения на то, как обеспечить нейропластичность (т.е. способность мозга перестраивать себя, формируя новые нейронные связи), путем сбора совершенно нового набора данных через устройство захвата ЭЭГ, и сравнения различных результатов ЭЭГ для создания основанных на больших данных ЭЭГ «терапии». Люди начинают снова двигать своими конечностями – сумасшедшие! Следует отметить, что стоит быть крайне внимательным в том, как вы собираетесь формировать новые наборы данных и как вы оцените относительную ценность существующих наборов данных, которые вы извлекаете из своей модели – мы вкратце обратим внимание на предвзятости и объективности машинного обучения позже в этой статье.
В любом случае, важно определять отличие между проблемой и решением, а также между показателями продукта и показателями модели. «Машинное обучение» всегда является частью решения. Первый этап может быть таким «Мы хотим достоверно идентифицировать X». Вторым этапом является «Мы решаем использовать машинно-обучаемую модель как часть нашего процесса». Затем выделяют результаты, успешные метрики и цели для продукта в целом, которые всегда должны питаться от модели.   
Пошаговое руководство по проблемам развертывания моделей машинного обучения


Шаг 1: Опишите свою проблему простым и понятным языком

Напишите, что бы вы хотели, чтобы машинно-обученная модель делала. На самом деле запишите: «Мы хотим, чтобы модель машинного обучения ____». Примером этого может быть: «Мы хотим, чтобы модель машинного обучения предсказывала, насколько популярным будет в будущем определенное видео, которое только загрузили». На данном этапе показатели могут быть качественными, но убедитесь, что они отражают вашу реальную цель, а не косвенную.

Шаг 2: Определите ваш идеальный исход

Ваша модель машинного обучения ориентирована на достижение желаемого результата. Что это за результат, независимо от самой модели? Заметьте, что результат может быть совершенно другим в зависимости от того, как вы оцениваете модель и ее качество (мы коснемся метрик в следующем разделе). Запишите: «Наш идеальный результат это: ____». Придерживаясь вышеприведенного примера, ваш идеальный результат может заключаться в том, чтобы только перекодировать популярные видео для минимизации использования обслуживаемых ресурсов, и предлагать видео, которые люди находят полезными, занимательными и стоят потраченного времени.
На этом этапе Вам не нужно ограничивать себя метриками, для которых ваш продукт уже оптимизирован (они будут рассмотрены на следующем шаге). Вместо этого попытайтесь сосредоточиться на более крупной цели вашего продукта или услуги.

Шаг 3: Определите ваши успешные метрики

Запишите ваши успешные и неудачные метрики, связанные с системой машинного обучения. Неудачные метрики важны (то есть, как вы узнаете, вышла ли из строя система машинного обучения?). Имейте в виду, что успешные и неудачные метрики должны быть сформулированы независимо от оценочных метрик для модели (к примеру, не говорите о точности, отзыве=чувствительности или AUC (Area Under the Curve) - область под кривой; вместо этого говорите об предполагаемых результатах). Зачастую эти метрики будут привязаны к идеальному результату, который вы установили выше. Напишите ответы на утверждения: «Наши успешные метрики это: ____», «Наши ключевые результаты (КР) для успешных метрик это: ____» и «Наша модель машинного обучения считается неудачной, если: ____».
К примеру, вашей метрикой успеха может быть использование ресурсов центрального процессора. В этом случае ваш ключевой результат для успешных метрик должен обеспечить снижение затрат на перекодирование центрального процессора на 35%, а модель машинного обучения будет считаться неудачной, если снижение стоимости ресурсов центрального процессора будут меньше затрат центрального процессора на обучение и обслуживание модели. Другими успешными метриками может быть количество правильно предсказанных популярных видео. Здесь ваш ключевой результат для успешных метрик должен верно прогнозировать лучшие 95% через 28 дней после загрузки видео. Ваша модель машинного обучения будет считаться неудачной, если правильно спрогнозированное количество популярных видео будет не лучше текущей эвристики.
Остановитесь здесь! Спросите себя: «Измеримы ли метрики?» «Как я буду их измерять?». Ничего страшного, если это будет живой эксперимент. Многие успешные метрики не могут быть собраны в автономном режиме. При выборе ваших метрик, подумайте об идеальном результате, который вы указали на предыдущем шаге. Когда вы можете измерить их? Сколько времени Вам понадобится, чтобы узнать, является ли ваша новая система машинного обучения успешной или неудачной?
Не ограничивайте себя бинарным противопоставлением успеха или неудачи. Есть более широкий диапазон: катастрофический / хуже, чем было / примерно такой же, как раньше / улучшение, но не так хорошо, как ожидалось / все замечательно. Также имейте в виду, что при наличии нескольких метрик система может находиться на одном уровне по одной метрике, а другая - по другой метрике.
Обязательно учитывайте расходы на проектирование и техническое обслуживание в долгосрочной перспективе прибыли. Отказ может произойти, несмотря на наличие успешных метрик. Например, модель может быть способна предсказать, будут ли они кликать на рекомендуемые видео, но она всегда может рекомендовать видео «наиболее кликающие».
Примечание по проверке проекта: вы заметите, что это руководство перемежается с «проверкой дизайна» для проверки вашего подхода перед переходом к следующему разделу. Мы настоятельно рекомендуем найти другую техническую службу или группу разработчиков (в вашей компании или за ее пределами), которая также в самом разгаре занимается развертыванием машинного обучения. Развертывание машинного обучения само по себе никогда не станет вашим секретным соусом (все дело в данных!), и вы действительно получите много пользы от обмена передовым опытом с другими практикующими специалистами, которые также находятся «в окопах». Если у Вас есть доступ к команде разработчиков облачных сервисов через вашего поставщика облачных услуг или техническую поддержку через другую программу, мы настоятельно рекомендуем Вам получить обратную связь по вашим вопросам в этом пошаговом руководстве.

** Проверка проекта: цели системы машинного обучения**

Как объяснялось выше, я теперь прошу Вас объединиться в пару с коллегой или в команду и просмотреть ответы друг друга на шаги, описанные выше (1–3), задавая себе следующие вопросы:
Четкое описание проблемы: Вы понимаете цель модели?
Неудача и успех: Будучи сторонним лицом, сможете ли вы оценить успех или неудачу системы машинного обучения, основанной на определенных метриках и целях? Приведите пример того, где вы будете судить о том, что в системе имеются сбои (неудачна).

Шаг 4: Определите ваш идеальный результат

Напишите результат, который вы хотите, чтобы производила ваша модель машинного обучения. Еще раз, запишите: «Результат нашей модели машинного обучения будет: ____» и «Он определен как: ____». Скажем, результат вашей модели машинного обучения будет одним из 3 классов видео {очень популярный, в некоторой степени популярный, не популярный}. Он будет определяться как верхний {3, 7, 90} - процентиль времени просмотра через 28 дней после загрузки.
Помните, что результат-выходные данные должны быть количественно измеримыми со значением, которое может произвести машина. Например, «пользователь, который наслаждался чтением статьи» даст гораздо хуже результаты, чем «пользователь, который поделится статьей». Спросите себя, можете ли вы получить примеры выходных данных, которые можно использовать в режиме обучения. Как и из какого источника вы получите это? Ваши выходные данные могут нуждаться в разработке, как в примере выше, который преобразует время просмотра видео в процентиль.
На этом этапе, если Вам трудно получить примеры выходных данных, которые можно использовать для обучения, Вам, возможно, придется пересмотреть свои ответы на прошлые шаги, чтобы переформулировать вашу проблему и цели в те, которые позволят Вам обучить модель на ваших данных.

Шаг 5: Используйте результаты

Подумайте, когда ваши результаты должны быть получены из модели машинного обучения, и как они используется в вашем продукте. Запишите: «Выходные данные модели машинного обучения будут: ____», и «Результат будет использоваться для: ____».
Например, прогноз популярности видео будет сделан, как только будет загружено новое видео. Результат будет использован для определения алгоритма перекодирования видео.
Подумайте, как вы будете использовать прогнозируемый результат в вашем продукте. Будет ли он немедленно представлен пользователю в пользовательском интерфейсе? Будет ли это использовано последующей бизнес-логикой? Какие требования к времени задержке у Вас есть?
Эти требования (которые также являются требованиями к модели машинного обучения) могут влиять на то, какая информация может быть использована для прогнозирования. Например, задержка в использовании данных из удаленных служб может сделать их недостижимой для использования. Если источники данных отстают в предоставлении новой информации доступной, то обработанные журналы могут создаваться только один раз в день, и / или определенная информация не известна до тех пор, пока это не случится (например, события преобразования).

Шаг 6: Определите вашу эвристику

Прежде чем двигаться дальше, давайте сделаем паузу и подумаем, как бы вы решили проблему, если бы не использовали машинное обучение (например, какую эвристику вы могли бы использовать). Запишите: «Если бы мы не использовали машинное обучение, мы бы: ____». Например, если вы не используете машинное обучение, вы бы предположили, что новые видео, загруженные создателями, которые загружали популярные видео в прошлом, снова станут популярными. Вот пример сценария, в котором Вам нужно представить продукт завтра, и вы можете только жестко кодировать бизнес-логику. Чтобы вы сделали? Запиши это.

** Проверка проекта: выходные данные **

Объединитесь в пару с коллегой или в команду и просмотрите ответы друг друга на приведенные выше шаги (4–6) в соответствии со следующими критериями:
Результаты модели: будет ли модель машинного обучения давать применимый и полезный результат?
Эвристика: Существует ли разумный набор эвристик, которые можно использовать для первоначального тестирования концепции без использования машинного обучения? Как их можно улучшить? Какие дополнительные эвристики вы можете предложить?

Шаг 7: Сформулируйте вашу проблему как проблему машинного обучения

Прежде чем мы перейдем к выяснению того, какой тип машинного обучения вы должны использовать развертывать для решения вашей проблемы, вот краткий обзор четырех основных способов, которыми машинное обучение может быть эффективно развернуто сегодня: 1) Классификация (какой из n меток?), 2) регрессия (предсказание числовых значений), 3) кластеризация (наиболее похожие другие примеры), 4) генерация (формирование) (комплексный результат). Обратитесь к материалу MLCC, если Вам не понятна классификация различных моделей.
Теперь запишите, что вы считаете лучшим техническим решением вашей проблемы. Например, ваша проблема может быть развернута как трехклассная классификация по одной метке, которая предсказывает, будет ли видео в одном из трех классов {очень популярное, в некоторой степени популярное, не популярное} через 28 дней после загрузки.

Шаг 8: представьте вашу проблему как «простую» проблему

Когда впервые только начинаешь, более простые формулировки проблемы легче обдумывать и выполнять. Я рекомендую взять данную Вам проблему и указать ее как бинарную классификацию или одномерную регрессионную проблему (задачу регрессии) (или обе). К примеру: «Мы предскажем, будут ли загруженные видео скорее наиболее популярными (бинарная классификация)» или «Мы спрогнозируем, насколько популярным будет загруженное видео с точки зрения количества просмотров, которое оно получит в течение 28 дней (регрессия)».

** Проверка проекта: моделирование **

Объединитесь в команду и просмотрите ответы друг друга на вышеуказанные шаги (7–8) в соответствии со следующими критериями:
Общий подход: кажется ли, что предложенные модели решат указанную проблему? Почему или почему нет?
Первый проект: В достаточной мере ли упрощенная модель упрощена и сокращена? Опишите, как можно еще больше упростить проект.

Шаг 9: Создайте свои данные для модели

Запишите данные, которые вы хотите, чтобы модель машинного обучения использовала для прогнозирования, в следующую таблицу:


Пошаговое руководство по проблемам развертывания моделей машинного обучения
Одна строка представляет собой один фрагмент данных, для которого сделан один прогноз. Вы должны включать только ту информацию, которая доступна на момент составления прогноза.
К примеру:
Пошаговое руководство по проблемам развертывания моделей машинного обучения


Шаг 10: выясните, откуда берутся ваши данные

Давайте запишем, откуда поступают входные данные, и оценим, сколько потребуется работы для разработки конвейера данных, чтобы построить каждый столбец для строки. Ознакомьтесь с ресурсами, которые помогут Вам продумать, какие данные внести в вашу модель, и как настроить группу аннотирования данных после их сбора.
Подумайте о том, когда тестовые выходные данные станут доступны для учебных целей. Если тестовые выходные данные получить сложно, вы можете вернуться к шагу 5 (ваш результат) и проверить, можете ли Вы использовать другой вывод для вашей модели.
Убедитесь, что все ваши входные данные доступны во время обслуживания (когда сделан прогноз), именно в том формате, в котором вы записываете. Если Вам трудно получить все ваши входные данные во время обслуживания в одном и том же формате, вы можете вернуться к шагу 9 (Проектирование ваших данных для модели), чтобы пересмотреть входные данные, или к шагу 5 (обслуживание выходных данных), чтобы пересмотреть, когда обслуживание может быть выполнено.
Пошаговое руководство по проблемам развертывания моделей машинного обучения
Пример
Пошаговое руководство по проблемам развертывания моделей машинного обучения

Шаг 11: Сосредоточьтесь на легко получаемых данных

Среди входных данных, которые вы перечислили на шаге 9, выберите из них 1-3, которые легко получить и которые, как вы считаете, дадут разумный исходный результат.

На шаге 6 вы перечислили набор эвристик, которые можете использовать. Какие входные данные будут полезны для реализации этих эвристик? Рассмотрите затраты на разработку конвейера данных для подготовки входных данных и ожидаемую выгоду от наличия каждого входа в модели. Сосредоточьтесь на входных данных, которые могут быть получены из одной системы с простым конвейером. Начинать с минимально возможной инфраструктуры рекомендуется при первом выполнении.

** Проверка проекта: данные **

Объединитесь в команду и просмотрите ответы друг друга на приведенные выше шаги (9–11) в соответствии со следующими критериями.
Простые входные данные: Является ли набор «простых функциональных возможностей входных данных» достаточно упрощенным и легким в получении? Как эти входные данные могут быть еще более упрощены?
Метки: Сможете ли вы получить выходные примеры (метки) для учебных целей?
Предвзятость: любой набор данных будет содержать в себе предвзятость каким-либо образом. Эти предубеждения могут отрицательно повлиять на обучение и сделанные прогнозы. Например, векторные представления слов, обученные из определенного источника данных, могут иметь предвзятость, непригодную для их использования в другом контексте. Или наборы данных для обучения могут быть нерепрезентативными для конечных пользователей моделей. Перечислите некоторые потенциальные источники предвзятости в наборах данных, которые будут использоваться (и обратите внимание на некоторые удивительные ресурсы, которые должны быть воплощены беспристрастной командой по машинному обучения Google ближе к маю 2019 года).
Риски и сложность реализации: Перечислите аспекты проекта, которые могут быть трудными для реализации, рискованными, чрезмерно сложными или ненужными.
Способность к обучению: сможет ли модель машинного обучения учиться? Перечислите сценарии, в которых система может испытывать трудности при обучении. Например, отсутствие достаточных положительных примеров, что данные обучения могут быть слишком маленькими, метки слишком громкими, что системе может быть сложно обобщать данные для новых случаев и т. д.

Шаг 12: Определите свою собственную комплексную систему машинного обучения

Пошаговое руководство по проблемам развертывания моделей машинного обучения



Шаг 13: Следующие шаги

После заполнения этой технологической карты и получения обратной связи по проекту, ваша первая реализация должна основываться на упрощенной модели (двоичной классификации или регрессии) с использованием нескольких (1–3) легко получаемых входных данных. Как только эта базовая настройка сработает, вы можете повторить проект, чтобы приблизить его к конечному виду. Когда вы будете готовы «сделать это сами», ознакомьтесь с этим ресурсом. Удачи! Дайте нам знать, что получится.
Малика Кантор (Malika Cantor) на глобальном уровне занимает ведущую роль в Google Developers Launchpad и является редактором блога The Launchpad. Ранее она была партнером-основателем в Comet Labs, экспериментальной исследовательской лаборатории и венчурной фирме, которая занималась поддержкой стартапов в области машинного обучения на ранних этапах. Следите за вопросами / комментариями в разделе комментариев и / или твитом!
Огромная благодарность Ола Бен Хару, Пшемеку Виктору Парделу, Александру Захарчуку, Павлу Новаку и т. д. за организацию мероприятия «Машинное обучение на Кикстартере» в Варшаве и создание рабочего листа по развертыванию проблемы машинного обучения (широко освещаемого в посте). Спасибо команде Google EngEdu за официальное решение проблемы создания контента в конце прошлого года. СПАСИБО Томасу Дж. Уайту IV и Бретту Камите за редактирование и корректирование, Джереми Нойнеру за визуальные эффекты и шутки, Джошуа Йеллин, Нишу Лахоти и Ричарду Хиндману, Майу Гроссману и Дженнифер Харви за маркетинг, Питеру Норвигe и Кэсси Козыркову за то, что они были моими партнерами по преступлению. Рою Гева Гласбергу за то, что он позволил нам запустить эту вещь :)

__________________________________________________________


среда, 22 мая 2019 г.

Популярность социальных сетей среди соискателей / кандидатов (в сравнении с джоб сайтами)

Пост в продолжение поста Популярность джоб сайтов среди соискателей / кандидатов. Заодно и сравним между собой социальные сети и джобсайты.
И не забывайте участвовать в опросе Исследование времени поиска работы, на основе которого получены эти результаты.
Напомню, популярность джобсайтов выглядит таким образом.

Джобсайты


Популярность социальных сетей среди соискателей / кандидатов (в сравнении с джоб сайтами)



Это популярность джоб сайтов, 88, 4 % у ХХ означает, что 88, 4 % респондентов нашего опроса указали, они размещают резюме на ХХ, почти 50 на Superjob и т.д...
otrasl означает размещение на отраслевых сайтах.

Социальные сети

Популярность социальных сетей среди соискателей / кандидатов (в сравнении с джоб сайтами)


Самой популярной сетью оказалась Linkedin - 38,1 % респондентов размещали в ней информацию о поиске. Совсем не претендую на репрезентативность нашей выборки: у нас описательные статистики по выборке такие
   Min.    1st Qu.  Median       Mean     3rd Qu.    Max. 
  15000   50000     80000     103142     130000  400000
Т.е. медиана зарплат - 80 000 рублей наших респондентов, а на ХХ медиана зарплат вакансий была 46 000 рублей, а в целом по России медиана зарплат 26 000 рублей, что стыд и позор, но мы, конечно, здесь не призываем вас выходить на митинги протеста, мы о науке. Наши респонденты находятся в более высоком ценовом диапазоне. И вот для нашего ценового диапазона есть еще такая статистика.

Популярность социальных сетей среди соискателей / кандидатов (в сравнении с джоб сайтами)



Здесь показаны уровни зарплат тех, кто размещал свое резюме в соответствующих социальных сетях. Для Linkedin медиана зарплаты 90 000 рублей, facebook - 80 000 рублей, Вконтакте - 45 000 рублей. Если вам интересно посмотреть зарплаты в разрезе сайтов, это можно увидеть здесь Популярность джоб сайтов среди соискателей / кандидатов
Причем, зарплаты для Linkedin и Facebook значимо не различаются, т.е. люди с этих социальных сетей находятся в одном ценовом диапазоне, а вот Вконтакте отличается от Facebook p-value = 0.034, Linkedin p-value = 0.028.
Понятно при этом, что Вконтакте не более бедные, а более молодые сидят.
Но может быть ГЛАВНЫЙ ВЫВОД из нашего исследования: для данного ценового сегмента в приоритете джобсайты HH и Superjob, а только потом идет Linkedin.


И не забывайте участвовать в нашем Исследовании времени поиска работы

__________________________________________________________
мы в фейсбуке, телеграмме и вконтакте



Вовлеченность сотрудников 3.0 - от обратной связи к действию



Перевод статьи Employee Engagement 3.0 – From Feedback to Action в рамках нашего проекта переводы статей по hr-аналитике на английском.
Перевод сделала Ляйсан Хазипова (ссылка на профиль ВКонтакте - добавляйтесь в друзья!), студент магистерской программы HR-аналитики Татнефти (см. В России появилась первая магистерская программа "HR-аналитика"!). Это первый перевод Ляйсан в нашем блоге.

Итак,

Вовлеченность сотрудников 3,0 - от обратной связи к действию

Как я уже писал в статье «Обратная связь – способ убить» (Feedback is the Killer App»), которое дает сотрудникам возможность выражать свое мнение, изменило мир управления. Руководители и лидеры бизнеса во всем мире теперь оцениваются по их способности сохранять сотрудников счастливыми.
И этому есть веская причина. Как отмечалось в известном исследовании «Цепочка прибыли от услуг» десять лет назад, опыт сотрудников напрямую связан с удовлетворенностью клиентов. Когда сотрудники довольны, они создают лучшие продукты, больше внедряют инновации и проводят больше времени с клиентами. Мы все знаем это по нашим временам в самолетах, в продуктовых магазинах, в кабинете врача и почти с каждой покупкой, которую мы делаем.
Экономически потребность в привлечении сотрудников ускорилась благодаря массовым изменениям в бизнес-моделях. В то время как компании безумно пытаются строить цифровые платформы вокруг своих предложений, процентная доля стоимости бизнеса, направляемая на услуги, стремительно растет. Сегодня более 85% оценки фондового рынка США основано на нематериальных активах, и все они связаны с людьми (интеллектуальная собственность, услуги, бренд, лояльность клиентов).
Каждая компания это работа с людьми. Поэтому, если вы хотите, чтобы ваши клиенты были счастливы, вам нужно, чтобы ваши сотрудники были счастливы.

Вовлеченность сотрудников 3,0 - от обратной связи к действию



Построение обратной связи Культура и архитектура

Как вы строите компанию, которая слушает?
Раскрытие обратной связи является культурной и технической проблемой. С одной стороны, вы должны создать культуру управления, которая позволит людям чувствовать себя в безопасности и комфортно говорить о том, что у них на уме. И это сложнее, чем кажется: мы не хотим, чтобы люди просто жаловались, мы хотим, чтобы они давали друг другу конструктивные отзывы, предлагали советы по развитию и обменивались непредвзятой информацией, которая помогает менеджерам улучшить рабочее место.
В Netflix, где я обсуждал это с CHRO - заместителем директора по управлению персоналом несколько лет назад, девизом «не говори ничего онлайн, что бы ты не говорил лицом к лицу». Компания процветает честно, и все знают, что нормально говорить, что нужно сказать.
В Патагонии (Patagonia) декан Картер CHRO сказал мне, что понадобилось несколько лет, чтобы получить обратную связь. В первый год они создавали процесс представления, основанный на обратной связи, люди нервничали, когда высказывались; Второй год, когда люди чувствовали себя в безопасности, программа действительно взлетела.
В Книге  Рэя Далио Принципы   (где он описывает, почему и как он придумал «радикальную прозрачность» как философию управления), он описывает, как его компания автоматизировала обратную связь и даже измеряет «надежность» и «авторитет» каждого человека, чтобы оценить некоторых людей как более «влиятельных». " чем другие.
В IBM и других технологических компаниях такие инструменты, как Slack (профессиональное онлайн сообщество) и онлайн-сообщества, позволяют людям открыто обсуждать проблемы по всему миру. Диана Джерсон, директор по связям с общественностью IBM, сказала мне, что она почти сразу может почувствовать, когда в IBM возникают проблемы с жалобами или проблемами управления, потому что эти разговоры открыты и их легко увидеть. В течение многих лет в Amazone была система обратной связи «всегда на связи» (“always-on”), которая   стала довольно известной   в ее способности видеть проблемы.
Учитывая то, что происходит с социальными сетями сегодня, вы можете беспокоиться об открытии этого канала, но позвольте мне заверить вас, что это очень позитивная вещь. Каждая компания, котораясоздала более открытую культуру, говорила мне, что она была позитивной, и теперь у нас есть инструменты, чтобы упростить ее.
Это было путешествие. Когда я начал изучать эту область десять лет назад, я обнаружил, что более 60% компаний вообще не опрашивали своих сотрудников, а те, которые делали это, делали это только один раз в год. Сегодня компании часто используют импульсные опросы, чтобы регулярно прислушиваться к своим сотрудникам (на рынке существуют сотни инструментов, которые делают это), и данные почти сразу возвращаются линейным менеджерам. Нам не нужны консультанты по персоналу для «анализа» или «чистки» данных в первую очередь.
Например, в рабочий день компания теперь задает всем сотрудникам один вопрос каждую неделю, и результаты этих опросов передаются линейным менеджерам, чтобы они могли сразу же увидеть, стоит ли решать проблему, задолго до того, как она выйдет из-под контроля.

Создание архитектуры обратной связи

Прямо сейчас есть сотни инструментов, чтобы сделать это легко. ( Фактически, каждое программное обеспечение для управления персоналом теперь имеет функцию обратной связи, модуль регистрации или другой инструмент для опроса.)   SAP только что заплатила 8 миллиардов долларов за приобретение Qualtrics для создания решение CX (опыт работы с клиентами). Ultimate Software, Workday, Cornerstone, Oracle и ADP предлагают инструменты обратной связи и поставщиков услуг, таких как Glint,   CultureAmp , WillisTowersWatson, Peakon, Perceptyx, SurveyMonkey, Waggl, и сотни других предлагают эти системы. И каждый крупный поставщик программного обеспечения для управления эффективностью теперь включает «проверки» (отзывы), поэтому нет недостатка в инструментах для покупки.
Но когда вы посмотрите на эти инструменты, я думаю, что важно подумать об «архитектуре обратной связи» вашей компании, чтобы вы могли сгруппировать все эти отзывы в целом. Для этого требуется способность, которую Глинт называет «межпрограммным интеллектом», чтобы собрать все эти вещи в значимый набор результатов.
Вовлеченность сотрудников 3.0 - от обратной связи к действию


И, кстати, я знаю, что все эти инструменты начинают работать, потому что вовлеченность сотрудников увеличилась (по всем данным Glassdoor) на 8,7% за последние три года. И я верю, что это потому, что компании знают гораздо больше о потребностях своих сотрудников, чем когда-либо.
Но давайте перейдем к теме сбора данных и поговорим о том, что будет дальше. Хотя вашему отделу кадров, вероятно, нравится проводить опросы, большая проблема возникает, когда вы пытаетесь использовать данные: как мы можем получить все эти данные, чтобы изменить ситуацию?

Переход от обратной связи к действию: с менеджерами, часто в центре внимания

Индустрия вовлечения сотрудников началась как мир для статистиков и отраслевых психологов. У нас была специальная небольшая группа по кадрам, которая разработала эти опросы, проанализировала результаты и попыталась найти наиболее сильно коррелированные вопросы. Что ж, эти дни уже позади: у нас есть множество данных обратной связи (опросы и комментарии), и пришло время использовать все это.Таким образом, индустрия движется вперед.
Откуда мы знаем, какие вопросы задавать? И что мы делаем со всеми данными? Мы просто даем это менеджерам, чтобы обдумать, или мы можем сделать что-то более умное с этой информацией?
За годы обучения изучению вовлеченности сотрудников я обнаружил, что это действительно сложная проблема. Сотрудники имеют широкий спектр потребностей на работе, поэтому вы должны иметь широкий обзор. Модель, показанная ниже (которую я разработал на протяжении многих лет) пытается объединить ее.

Вовлеченность сотрудников 3.0 - от обратной связи к действию

Например, в некоторых группах менеджеры управляют своими командами на микроуровне, поэтому люди чувствуют себя безработными и разочарованными. В других люди не знают, за что они отвечают, поэтому они изо всех сил пытаются установить приоритеты. В других на рабочем месте отвлекает или шумит, поэтому люди не чувствуют, что они могут быть продуктивными. А в других люди не чувствуют, что могут продвинуться вперед, поэтому они чувствуют себя застрявшими на месте. В других компаниях сотрудники не доверяют руководству, и, как вы видите, этот список можно продолжать и продолжать.
Я предлагаю вам подумать об этом как о комплексной проблеме и привыкнуть к тому, что все эти вопросы важны. Вместо того, чтобы пытаться статистически сопоставить наиболее важные, позвольте вашим сотрудникам высказаться по всем этим темам. Они скажут вам, что имеет значение.

Помогая менеджерам принять меры

Что приводит нас туда, где мы сейчас находимся. Что мы делаем со всей этой информацией? Как мы используем эту информацию, чтобы помочь менеджерам и частным лицам улучшиться? Системы обратной связи должны стать более интеллектуальными и посылать действенные толчки, предупреждения, советы и советы лидерам и их командам.
Таблица ниже показывает вам, куда мы идем. Инструменты нового поколения теперь могут анализировать и интерпретировать все эти данные, а затем давать менеджерам конкретные действия, которые необходимо предпринять. В некотором смысле мы переходим от рынка обратной связи к рынку «развития менеджмента», где система становится настоящей «системой менеджмента», которая помогает нам постоянно совершенствоваться.

Вовлеченность сотрудников 3.0 - от обратной связи к действию

Несколько месяцев назад я писал об этой теме как   Я представил Humu (по ссылке - перевод в нашем блоге - Э.Б.) , компанию, которая пытается определить это новое пространство. Совсем недавно, однако, большое объявление от Glint (теперь часть LinkedIn), действительно привлекло мое внимание. Хотя я не хочу чрезмерно рекламировать компанию, я думаю, что она представляет новый способ мышления, который предсказывает, куда движется весь этот рынок.

Менеджер Консьерж: панель инструментов для облегчения управления

Видение Glint, которое я наблюдал в течение многих лет, заключается в том, что опросы по вовлечению и обратной связи важны, но   это действия, которые действительно имеют значение . У большинства компаний, участвующих в проекте, есть шаблоны «плана действий» в своих инструментах, но они действительно запаздывают в отчетах об опросах. Глинт идет намного дальше.
Рассмотрим важный вывод из исследования Хоторна, проведенного в Western Electric в 1920-х годах.«Эффект Хоторна», о котором многие из вас знают много, обнаружил, что, когда психологи включили свет на заводе, производительность возросла. Но затем, когда они выключили свет, он снова пошел вверх!

Вовлеченность сотрудников 3.0 - от обратной связи к действию



Результаты, которые   увлекательно читать,   привели к выводу, что это не освещение, которое действительно стимулировало вовлечение сотрудников , это «тот факт, что руководство уделяло внимание», и что «менеджеры делают   что-то   чтобы сделать работу лучше ».
Другими словами, если вы сможете попросить менеджеров прочитать результаты всех этих опросов и поговорить с ними о людях, то получатся положительные результаты.

Мотивация менеджеров принять меры

Итак, как мы можем сделать это? Как я описал выше, для этого требуется сочетание культуры и технологий. Во-первых, вам нужно убедиться, что старшие руководители заботятся, потому что, если менеджеры не верят, что они вознаграждены за заботу о сотрудниках, они просто не будут так думать. Но кактолько вы дойдете до этой точки, эти новые инструменты делают трансформационные вещи.
Например, в новой системе Glint данные опросов в режиме реального времени анализируются и агрегируются на инструментальной панели менеджера, а менеджерам даются очень конкретные планы действий. Эти планы просты и понятны, и когда менеджеры нажимают на них и отмечают, что они выполнены, система становится умнее и делает больше.
Вовлеченность сотрудников 3.0 - от обратной связи к действию


Планы действий принимают форму подталкиваний и предложений, и в будущих версиях менеджеры будут прямо указывать на видео с микрообучением и учебные курсы LinkedIn, которые помогут менеджерам действительно научиться работать лучше. Все это непосредственно нацелено на результаты опроса сотрудников и аналитический анализ, основанный на комментариях сотрудников.
Здесь используется довольно много технологий, и это выводит систему опросов далеко за пределы системы обратной связи в настоящую систему изменения поведения, основанную почти полностью на реальных данных. И, как вы можете себе представить, это решение со временем станет лучше, так как каждая рабочая группа получает больше результатов, а менеджеры видят влияние своих новых действий.
Glint провел исследование по этой теме самостоятельно, и компания обнаружила, что менеджеры, которые на самом деле используют свои планы действий, повышают уровень вовлеченности на 7%, а у тех, кто обсуждает это с сотрудниками, вероятность того, что команды будут активно задействованы, в 8 раз выше. Таким образом, эффект Хоторна работает, независимо от того, насколько «продуманными» могут быть эти планы действий.
Вовлеченность сотрудников 3.0 - от обратной связи к действию

Как вы делаете это на практике?

Вам нужен новый набор инструментов, чтобы все это произошло? Ну, во- первых, ответ «да»: эти новые инструменты действительно начинают развиваться, поэтому я предлагаю вам выйти за рамки «опросов» и искать системы, которые обеспечивают более действенную информацию для ваших команд. Но этот рынок еще молодой, и многие из вас могут быть новичками в опросах сотрудников или только сейчас начинают получать достаточно данных, чтобы все это произошло.
То , что я хотел бы предложить, что независимо от технологии вы покупаете, вы можете двигаться в этом направлении прямо сейчас. Если вы профессионал в области HR, подумайте об этой целой области как о проблеме «достижения результатов», а не о «сборе данных, чтобы увидеть, что происходит».
Рассмотрим процесс, который я покажу ниже . Сначала вам нужно получить данные обратной связи в месте, где вы можете их найти, и эту проблему вы можете решить с помощью инструментов. Далее вам нужен набор инструментальных панелей, собраний или мероприятий, которые вынуждают лидеров делиться мнениями людей. В-третьих, вы должны предоставить менеджерам инструменты, помогающие им решить, что делать, а в-четвертых, вы должны поощрить (или заставить) менеджеров рассказать о своем плане действий. А потом, конечно, подпитывайте это и посмотри, что получилось.

Как вы делаете это на практике? Вам нужен новый набор инструментов, чтобы все это произошло? Ну, во- первых, ответ «да»: эти новые инструменты действительно начинают развиваться, поэтому я предлагаю вам выйти за рамки «опросов» и искать системы, которые обеспечивают более действенную информацию для ваших команд. Ноэтот рынок еще молодой, и многие из вас могут быть новичками в опросах сотрудников или только сейчас начинают получать достаточно данных, чтобы все это произошло. То , что я хотел бы предложить, что независимо от технологии вы покупаете, вы можете двигаться в этом направлении прямо сейчас. Если вы профессионал в области HR, подумайте об этой целой области как о проблеме «достижения результатов», а не о «сборе данных, чтобы увидеть, что происходит». Рассмотрим процесс, который я покажу ниже . Сначала вам нужно получить данные обратной связи в месте, где вы можете их найти, и эту проблему вы можете решить с помощью инструментов. Далее вам нужен набор инструментальных панелей, собраний или мероприятий, которые вынуждают лидеров делиться мнениями людей. В-третьих, вы должны предоставить менеджерам инструменты, помогающие им решить, что делать, а в-четвертых, вы должны поощрить (или заставить) менеджеров рассказать о своем плане действий. А потом, конечно, подпитывайте это и посмотри, что получилось.

В то время как технологии здесь очень помогут, вы можете сделать это и вручную. В 1980-х годах в IBM мы делали все это с помощью «Ежегодного опроса мнений», программы принудительного шествия, которая заставляла всех линейных руководителей проходить эти этапы один раз в год. Это были месяцы усилий и множество пользовательских процессов, но сегодня вы можете сделать это самостоятельно.

Помните, что менеджеры не всегда знают , что делать

Когда мы переходим от «обратной связи к действию», я просто хочу напомнить вам еще одну вещь.Большинство из нас удивлены, узнав, что мы не совершенны в том, что мы делаем, и затем, когда мы получаем обратную связь, мы не уверены, что с этим делать. Поэтому в основе всего этого нам нужно дать лидерам набор советов, инструментов, предложений и даже тренеров, которые помогут им справиться с возникающими проблемами.
Как я сказал руководителям Glint, когда мы говорили обо всем этом, в конечном итоге они создают систему развития лидерских качеств нового поколения. Лидеры получают отзывы о том, что не работает, они получают советы о том, как их улучшить, а компания и их команда со временем становятся лучше. Это не инструмент взаимодействия с сотрудниками или обратной связи, это новая система управления, которая помогает лидерам на всех уровнях контролировать и улучшать показатели многими способами.
Помните также, что большая часть отзывов людей на работе касается не вас. Речь идет о работе, рабочем месте, системах и процессе. Сотрудники имеют жизненно важную и очень ценную информацию о том, что расстраивает их на работе (отсюда огромное развитие инструментов опыта сотрудников), поэтому помните, что кое-что, чему вы научитесь, - это простые вещи, которые просто нужно исправить. Если вы создадите культуру «размышлений» и «обзоров после действий» и «открытых обсуждений обратной связи»,вы начнете понимать, что это такое, и каждый сможет улучшить свое рабочее место.

Вовлеченность сотрудников 3.0 - от обратной связи к действию

В этом пространстве происходит намного больше, и мы создаем целый курс, чтобы помочь вам учиться. Но в то же время история проста. Пришло время перейти от «обратной связи к действию» во всей стратегии взаимодействия с сотрудниками и найти инструменты и контент, которые облегчат эту задачу. Культура важнее, чем когда-либо, но я рад сообщить, что инструменты, которые мы используем, становятся довольно захватывающими, и это будут делать рабочие места лучше с каждым днем.

__________________________________________________________




вторник, 21 мая 2019 г.

Как обрабатывать результаты вопросов с множественным выбором в R/Rstudio



Понятно, что я не охвачу все возможные варианты обработки вопросов с множественным выбором, но, надеюсь, хватит, чтобы самим дальше продвигаться.
Показываю на примере поста Популярность джоб сайтов среди соискателей / кандидатов.
У нас есть вопрос, на каких джоб сайтах, вы размещали резюме. Посмотрите это в самом опросе Исследование времени поиска работы (и пройдите его). Результат это вопроса записывается так
Как обрабатывать результаты вопросов с множественным выбором в R/Rstudio



Захватил соседний вопрос, в каких социальных сетях, размещали резюме. Заметно, что результаты сохраняются одной ячейке, и это главное неудобство для обработки.

Преобразование в бинарные переменные

Покажу первые пять строк. После преобразования у нас первые пять строк принимают такой вид
hh
Superjob
Отраслевые
другое
1
1
0
0
1
0
0
0
1
0
1
1
1
1
0
0
1
1
0
0

Т.е. если вы сравните с картинкой выше, вы обратите, что в колонке hh стоят везде единички, потому что hh.ru присутствует во всех первых пяти строках. Superjob содержит единички в тех ячейках, где этот сайт был выбран респондентом и т.п.. 
Такое преобразование позволяет уже пользоваться этими переменными при построении моделей, выявлении различий и т.п...
В R это делается так
df$hh = ifelse(grepl('hh',df$На.каких.работных.сайтах.размещали.резюме), 1, 0)
Этой формулой мы создаем новую переменную. Буквально она звучит так: если у нас в ячейке содержится hh, то в новой переменной значение ячейки будет = 1, в остальных случаях = 0.
Я показал только на примере одной переменной, понятно, что также надо делать с остальными.
Подсчет числа выборов
А если мы хотим посчитать, как часто выбирали респонденты HH, Superjob и т.п.?
И получить вот такую картинку

Картинка обозначает, что 88, 3 % респондента размещали свое резюме на HH.ru и так далее..... В R я это считаю так
HH = grep("hh",df$На.каких.работных.сайтах.размещали.резюме,value=F)
HH =  length(HH)/nrow(df) 
Superjob = grep("Superjob",df$На.каких.работных.сайтах.размещали.резюме,value=F)
Superjob =  length(Superjob)/nrow(df) 
Первой строкой я считаю количество ячеек, содержащих hh, второй строкой я считаю % (делю на количество строк датасета). Если вам не нужны проценты, вы убираете знаменатель и все. Теперь у нас есть два объекта HH и Superjob, нам нужно получить диаграмму (на самом деле у вас будет больше объектов, по числу вариантов ответа, но я просто экономлю пространство, поскольку это просто повторение. И диаграмму я получаю так: объединяю объекты в один датасет
 js = data.frame(value = c(HH, Superjob, Rabota, job, Росработа, avito, otrasl))
col = c('HH', 'Superjob', 'Rabota', 'job', 'Росработа', 'avito', 'otrasl')
df = cbind(col, js)
И теперь визуализируем
df = df[order(-(df$value)),] # задаю в порядке убывания
df

library(ggplot2)
ggplot(df,aes(x = reorder(df$col, df$value),  y = df$value)) + 
  geom_bar(stat="identity", fill="coral1", colour="darkgreen") +
  geom_text(aes(label=paste(round(df$value*100, 1),"%",sep="") ), hjust = 0.5, size=8) + 
  theme(text = element_text(size=30), plot.title = element_text(hjust = .5)) +
  coord_flip()+ labs(title = "% респондентов", y = " ", x='сети')+
  theme(axis.text = element_text(size = 19))
Обратите внимание, я перед загрузкой диаграммы сначала расположил варианты ответа в порядке убывания.
Все, мы посчитали количество выбранных вариантов.

Сравнение групп

А если вы захотели посчитать, как пользователи разных джоб сайтов различаются с т.з. зарплаты, возрасте, уровня позиции и т.п.? Т.е. мы захотим получить, например, вот такую диаграмму
Как обрабатывать результаты вопросов с множественным выбором в R/Rstudio



Т.е. мы сравниваем группы. Мы получили ранее отдельные бинарные переменные, которые позволяют сравнить, например, HH.RU с остальными сайтами сразу всеми вместе, но нам то нужно именно все сайты посмотреть, значим нам нужно получить такой датасет, в котором будут две колонки:

  1. принадлежность к сайту / группе, т.е. переменная будет состоять из значений 'hh', 'Superjob' и т.п..,
  2. зарплата 

В R я делаю это так
 
q$hh = ifelse(grepl("hh",q$На.каких.работных.сайтах.размещали.резюме), '1', '0')
hh = q[q$hh == '1', ]
С помощью первой строки я повторяю, что делал выше - создаю новую переменную, а второй строкой фильтром отбираю только те строки полного датасета, где содержится HH. Далее я с помощью пакет dplyr отбираю зарплаты, создаю из них новый датасет hh, и в нем новую переменную js -она - эта переменная - состоит только из значений hh, т.е. мы выбрали зарплаты только тех респондентов, которые размещали свои резюме на HH.RU
 
library("plyr"); library("dplyr")
hh = select(hh, zp = Размер.зарплаты.на.момент.увольнения)
str(hh)
hh$js = 'hh'
Аналогично я проделываю это с другими сайтами: для Superjob создаю датасет Superjob и так далее
 q$Superjob = ifelse(grepl("Superjob",q$На.каких.работных.сайтах.размещали.резюме), '1', '0')
Superjob = q[q$Superjob == '1', ]
Superjob = select(Superjob, zp = Размер.зарплаты.на.момент.увольнения)
str(Superjob)
Superjob$js = 'Superjob'
Теперь нам надо все это объединить в единый датасет. rbind() нам в помощь, поскольку названия переменных во всех датасетах у нас идентичные.
js = rbind(hh, Superjob, Rabota, otrasl )
js$zp = as.numeric(as.character(js$zp))
js$js = as.factor(js$js) 
Далее мы можем посмотреть значимость различий
kruskal.test(js$zp ~ js$js)
Выяснив, что для наших данных таких различий нет. И построим боксплот
ggplot(js, aes(x=js, y=zp/1000, fill=js)) + geom_boxplot(color='blue')  +
  theme_grey(base_size = 30)+ theme(legend.position="none") +
  scale_y_continuous(breaks=seq(0, 250, 25)) + coord_flip(ylim=c(0, 250)) +
  ylab('зарплата') 
Обратите внимание, что в формуле я использую zp/1000 - т.е. делю зарплату на 1000, чтобы деления не рябили нулями, были не в рублях, а тысячах рублей.

Как обходить засады

Бывают подводные камни. Например, у нам есть джоб сайт job.ru, если мы воспользуемся формулой
job = grep("job",df$На.каких.работных.сайтах.размещали.резюме,value=F)
job =  length(job)/nrow(df)  
То мы соберем в эту переменную помимо job еще и весь Superjob, в котором также есть job. Я преодолеваю эту засаду таким образом.
job = q[!grepl("Super",q$На.каких.работных.сайтах.размещали.резюме) & grepl("job",q$На.каких.работных.сайтах.размещали.резюме), ]
job =  nrow(job)/nrow(q)  
Буквально эта формула означает: мы собираем все, что НЕ содержит Super и содержит job.

Ну вот такой маленький кусочек того, что можно делать с результатами вопросов с множественным выбором. Буду рад дополнениям, или если вы покажете, как это сделать проще. Спасибо!



понедельник, 20 мая 2019 г.

Работать совместно, но не вместе (working at google)





Перевод статьи Working together when we’re not together  нашего  проекта переводы статей по hr-аналитике на английском. Статья из блога Google. Что говорит само за себя. Посвящается тем, что работает на "удаленке".
Перевод выполнила Регина Ибниаминова, начальником отдела кадров некоммерческой организации (профиль в контакте). Это третья статья Регины в нашем блоге, см. также
20 работающих идей признания сотрудников (recognition)
Упущенные факторы благополучия сотрудников (employee well-being)

Итак,

Работать совместно, но не вместе 

Автор: Veronica Gilrane, менеджер по аналитике.
Как менеджер команды Google’s People Innovation Lab (PiLab), исследования которой делают работу лучше не только в Google, я регулярно выполняю то, что называется «распределенная работа» («Distributed Work»), сотрудничая с членами команды, не находящимися со мной в Сан-Франциско. Нет ничего не обычного в том, чтобы в течение одного дня обмениваться быстрыми сообщениями с сотрудниками Google из Токио или Боулдера (Колорадо, США) или устраивать еженедельные встречи по видеосвязи с людьми из нашего нью-йоркского офиса. Координировать такие встречи бывает непросто. Коллегам из Азии часто приходится вставать раньше обычного, чтобы присоединиться к видео-чату, а мы стараемся не просить сотрудников с Восточного побережья оставаться надолго ради вечерних совещаний с командами из Маунтин-Вью, Калифорния.
Кроме логистики, построение отношений с членами команды, с которыми случайно не сталкиваешься в коридоре, несколько затруднительно. Это так естественно – спрашивать о планах после работы или обмениваться отзывами о фильмах, когда вы встречаетесь лицом к лицу. И требуется больше усилий, чтобы сформировать такую связь, когда вы в основном видите друг друга лишь на экране.
Подозреваю, что многие команды, как и почти 100 тысяч сотрудников Google, находящихся в более чем 150 городах и 50 странах, сталкиваются с подобными ситуациями:
Работать совместно, но не вместе (working at google)



  • 2 из 5 рабочих групп Google имеет сотрудников, находящихся в разных местах;
  • 48% рабочих совещаний проводятся с сотрудниками, работающими из двух и более разных зданий;
  • 39% совещаний охватывают два города и более;
  • 30% совещаний охватывают два или больше часовых поясов.

Чтобы лучше понять влияние распределенной работы, моя команда разослала опросы более чем 5000 сотрудников Google и провела фокус-группы с сотней сотрудников по всему миру. Среди прочего мы измерили благосостояние, производительность и взаимодействие, и предложили рекомендации о том, как все это совместить, даже если ваша команда разбросана по всему миру.

Что мы обнаружили

Мы были рады, что не выявили отличий в эффективности, рейтингах производительности или продвижениях по карьерной лестнице для отдельных лиц и команд, которым приходится взаимодействовать с коллегами по всему миру, по сравнению с сотрудниками, проводящими большую часть рабочего времени рядом с коллегами в офисе. Стандарты благосостояния были единообразными во всех отношениях. Сотрудники, работающие виртуально, находят способы придерживаться устойчивого баланса работы и личной жизни, отдавая предпочтение таким важным ритуалам, как здоровый ночной сон и физические упражнения, также как это делают нераспределенные члены команды.
В то же время мы узнали от сотрудников, что работа с коллегами по всему миру может затруднить установление связей – в самых разных смыслах. Координация расписания разных часовых поясов и бронирование конференц-зала для видео-чата требует больше логистических интеллектуальных усилий, чем заскочить к коллегам на встречу за чашечкой кофе. Техническая сторона тоже может ограничивать: проблемы с видео и звуком делают импровизированные обсуждения, призванные помочь коллегам узнать и довериться друг другу, слишком затрудненными, не оправдывая себя.

Что делать, чтобы команды почувствовали больше связи

Мы объединили наши выводы и лучшие практики распределенной работы в наборе схем (осторожно, PDF файл, но рекомендую скачать - это фактически руководство Google по удаленной работе), чтобы поделиться ими с Google и другими компаниями. Вот три совета от нас, как сделать распределенную работу более приятной и сплоченной.

  1. Узнайте друг друга лучше. Вместо того, чтобы сразу окунуться в повестку дня, отведите немного времени в начале встречи на открытые вопросы вроде «Что вы делали на выходных?» Это простой способ построения дистанционных связей и установления взаимопонимания. Мы обнаружили, что менеджеры, подающие пример и прилагающие дополнительные усилия, чтобы узнать лучше членов распределенной команды, могут быть очень эффективными.
  2. Установите границы. Вместо того чтобы делать предположения о предпочтительном рабочем времени, потратьте время и спросите у своих коллег, когда они хотели бы устраивать совещания. Кто-то может пожелать определенное время суток, если ему дадут выбор, либо сможет полностью оторваться от компьютера на некоторое время.
  3. Создавайте личные и виртуальные связи. Иногда легче быть лицом к лицу. Менеджеры должны обеспечивать четкие указания и возможности для поездок членов команды на личные встречи. Во время видео-звонка проявите заметную реакцию на идеи коллег, чтобы показать, что их слышат. Когда у вас бывает возможность встретиться лицом к лицу – воспользуйтесь этим преимуществом, чтобы укрепить виртуальные связи.

Как менеджер распределенной команды, я сама начала применять эти советы на практике. Я устраиваю еженедельные виртуальные обеды, чтобы создать пространство для неформального общения между товарищами по команде, а также отправляю еженедельные письма «Pi» от PiLab для обмена задачами на неделю, возможными трудностями в работе, победами и достижениями, смайликами, чтобы сделать сообщения забавными и более личными. В Google мы всегда стремимся совершенствовать наши методы, чтобы помочь сотрудникам делать свою работу лучше, и надеюсь, это исследование облегчит эффективную и счастливую совместную работу команд независимо от того, где они находятся.




воскресенье, 19 мая 2019 г.

Популярность джоб сайтов среди соискателей / кандидатов

Тема подбора персонала через джоб сайты чрезмерно актуальна, вот результаты опроса в нашем телеграм канале (присоединяемся)

Какой % вакансий Вашей компании закрывается через джоб сайты



  • 42 % указали, что более 80 % закрывается через джобсайты! 
  • в 9 %, которые не работают с джобсайтами, несколько стартапов , которые имеют в принципе уникальных спецов. 

Это проблема нашего рынка. Мы сидим на джобсайтах.

Я провожу очень важный опрос Исследование времени поиска работы, который вам необходимо пройти, прежде чем читать этот пост.
Среди прочего, в опросе есть вопрос, на каких сайтах вы размещали свои резюме. Я построил барплот с частотой распределения размещения резюме по джобсайтам.
Получилась вот такая картина

Популярность джоб сайтов среди соискателей / кандидатов 

Популярность джоб сайтов среди соискателей / кандидатов




Здесь указаны джобсайты (otrasl - это вариант ответа "отраслевые сайты"), % респондентов - % тех, кто разместил свое резюме на данном джобсайте. Т.е. на HH.ru размещали свое резюме 88 % респондентов нашего опроса. 46 % респондентов размещали резюме на Superjob.ru - тоже неплохой вариант. На купленном Сбербанком сайте - каждый шестой. И так далее....

Зарплаты соискателей


Популярность джоб сайтов среди соискателей / кандидатов




Взял 4 джоб сайта, медианы superjob, Rabota, hh - практически одинаковы и равны 70 000 рублей, медиана зарплат респондентов, размещающих резюме на отраслевых сайтах равна 95 000 рублей, но в целом крускал уолисс не значим p-value = 0.08.
Это говорит о том, что респонденты нашего опроса не различаются по зарплате с т.з. того, на каком джобсайте они размещают резюме.
Но помните, что речь только о респондентах нашего опроса, который вы должны пройти. Медиана зарплаты респондентов нашего опроса, размещающих резюме на HH равна 70 000 рублей, а медиана зарплат вакансий на HH равно 46 000 рублей (если память не изменяет). Т.е. у нас выборка не репрезентативна по HH, поэтому я не гарантирую, что мы дали точный отчет. Но мы можем предполагать, что беловортничковых спецов HH & Superjob не различаются с т.з зарплат.


__________________________________________________________
мы в фейсбуке, телеграмме и вконтакте





четверг, 16 мая 2019 г.

Создайте свой HR-план за пять шагов и пять минут



Перевод статьи How to create your HR Plan in five minutes в рамках нашего проекта переводы статей по hr-аналитике на английском.
Перевод сделала Татьяна Борисова, Learning and Development специалист производственной компании, профиль в Линкедине. Татьяна готова присоединиться к вашим HR проектам в качестве волонтера или фрилансера (!). Это пятый перевод Татьяны в нашем блоге, см также
sozdajte-svoj-hr-plan-za-pyat-shagov-i-pyat-minut




Итак, 

Создайте свой HR-план за пять шагов и пять минут

Ваш босс просил план несколько раз.  Ваша обычная тактика его задержки («Мы очень заняты», «Вы знаете, Джеки только что ушел», «Когда будет внедрено программное обеспечение») больше не работает.

Не отчаивайтесь, мы можем помочь. Просто выполните следующие пять шагов, и вы готовы.

Шаг 1: Выберите темы


На картинке ниже вы можете увидеть обзор 11 возможных наименований для вашего плана.  Выберите несколько или все из них.  Если у вас есть более пяти минут, вы можете изменить ярлыки, чтобы они соответствовали духу вашей компании.
Создайте свой HR-план за пять шагов и пять минут

Шаг 2: Визуализируйте свои темы 


Теперь, когда вы выбрали свои темы, вы можете сгруппировать их вместе в виде вашего плана управления персоналом.  Вы можете использовать шаблон ниже.  «Дом HR» всегда выглядит массивно.  Не забудьте добавить логотип вашей компании (найдите файл png) в правом верхнем углу.  Конечно, вы можете изменить цвета в соответствии со стилем вашей организации.
Создайте свой HR-план за пять шагов и пять минут


Шаг 3: Создайте запоминающийся слоган

Броский лозунг помогает.  Расположение броского слогана в центре визуализированного HR плана выглядит немного бестактно, но вы не будете первыми.  Брендон Гейл опубликовал список “101 catchy human resources slogans” (101 запоминающийся HR слоган),  если вы не хотите терять время, выберите один из них.  Некоторые примеры взяты из этого списка:

  • Наши самые важные активы - это наши люди
  • Потому что бизнес имеет значение
  • Соедините свои миры
  • Вовлекать. Производить. Расти.
  • Превосходство для людей в бизнесе
  • Мышление будущего. Сейчас
  • Помогая достичь возвышения
  • Нанимай. Обучай. Удерживай
  • Новые идеи. Лучше HR
  • Реализация превосходства через человеческие ресурсы.

Шаг 4: не тратьте время на детали


У вас может возникнуть желание добавить больше деталей в ваш план, таких, как сроки, структура проекта и бюджет. Не делайте этого.  Детализация станет источником будущей агонии.  В большинстве управленческих команд вам это сойдет с рук.  Детали для новичков.

Шаг 5: Отправьте план вашему боссу и вашей команде

Сохраните ваш файл в формате pdf (в противном случае другие люди могут внести изменения) и отправьте по почте своему боссу и вашей команде.  Вы можете запросить  отзывы и предложения, но будьте осторожны с учетом дефицита вашего времени.


__________________________________________________________