.

Сделать репост в соц сети!

Показаны сообщения с ярлыком A/B тест. Показать все сообщения
Показаны сообщения с ярлыком A/B тест. Показать все сообщения

вторник, 7 декабря 2021 г.

Как провести A/B тест в L&D

Перевод статьи How to A/B Your L&D

автор - Dr. Eli Bendet-Taicher, PhD, Global Learning & Development Executive | Leadership, Mentorship, Science, Engineering & Data Through Storytelling

Читайте в тему:

  1. Анализ полезности обучения - реальный кейс HR-аналитика из Нидерландов и более реалистичный, чем данная статья. 
  2. HR-аналитика и научный метод - автор статьи Max Blumberg, он пишет о том же A / B тестинге, правда приводит кейс из c&b 
  3. 10 hr-метрик обучения сотрудников, которые вы должны знать - ну и до кучи, куда же без метрик
  4. Оценка эффективности тренинга - видео, как проводить такой математический анализ 

Как провести A/B тест в L&D



Как бывший ученый, я использовал тестирование, чтобы подтвердить или опровергнуть свои теории, и полагался на результаты, чтобы принимать научные решения в своих экспериментах в лаборатории. В каждом тесте была экспериментальная группа по сравнению с контрольной для проведения и сравнения результатов. Эта концепция параллельна тому, что мы знаем сегодня в технологической индустрии как A / B-тестирование.

понедельник, 28 сентября 2020 г.

Чтобы найти лучшие стимулы для сотрудников, начните с простого A/B-теста

Перевод статьи How Career Pathing can Help You Win Talent and Boost Engagement нашего проекта переводы статей по hr-аналитике на английском. Автор Neelie Verlinden
Перевод выполнила Ирина Самойленко -- Сhief HR производстенной компании г. Днепр, Украина (профиль на LinkedIn) . Это третий перевод Ирины в нашем блоге, смотрите также 
Чтобы найти лучшие стимулы для сотрудников, начните с простого A/B-теста


Чтобы найти лучшие стимулы для сотрудников, начните с простого A/B-теста


Удерживать мотивацию сотрудников  бывает непросто. Новое исследование показывает, что простой эксперимент может привести к значительному увеличению производительности.


НА ОСНОВЕ ИССЛЕДОВАНИЯ
Джорджа Георгиадиса (George Georgiadis)
и Майкла Пауэлла (Michael Powell)
Ссылка на исследование: research 

К настоящему времени вы знакомы с возможностями A/B-тестирования: проведения простых экспериментов, чтобы увидеть, какой из двух вариантов более эффективен для достижения желаемого результата. Маркетологи используют A/B-тесты, чтобы противопоставить друг другу различные призывы к действию или выяснить, какое из двух изображений приведет к наибольшим продажам на сайте электронной коммерции.

Но могут ли менеджеры использовать A/B-тестинг для чего-то совершенно другого - например, для разработки лучшего способа мотивации своих сотрудников?

Так считают два исследователя из Kellogg School of Management.

В новом исследовании Джордж Георгиадис и Майкл Пауэлл, оба доцента по стратегии, разрабатывают модель, которая показывает, как организации могут использовать A/B-тестирование, чтобы найти более эффективные способы структурирования стимулов производительности. Они определили, что даже один A/B-тест может предоставить удивительный объем информации о том, как сотрудники будут реагировать на ряд стратегий поощрения. И они предлагают основу для максимального использования данных A/B-тестирования.

«Мы хотим понять: если у вас есть определенные данные, каким образом вы можете использовать их для улучшения планов мотивации ваших сотрудников? Как далеко вы можете зайти с помощью простого A/B-теста? » - говорит Георгиадис. «В принципе, чтобы внедрить "оптимальный" план стимулирования, вам потребуется бесконечное множество экспериментов. Мы утверждаем, что с помощью одного эксперимента на самом деле можно зайти довольно далеко»

Это важно, объясняет он, потому что работодатели, по понятным причинам, очень неохотно экспериментируют со схемами стимулирования, поскольку они не хотят огорчать своих сотрудников.

«Если мы говорим об изменении способа оплаты людям, мы не хотим проводить много подобных экспериментов», - говорит Пауэлл. «Если вы работаете над веб-сайтом и пытаетесь выяснить, какого цвета сделать кнопку, провести намного больше тестов гораздо проще»

Правильные стимулы

Организации используют широкий спектр схем стимулирования, чтобы мотивировать своих сотрудников усердно трудиться.

Некоторые схемы довольно просты: например, сотрудник, который получает базовую зарплату, а также бонус при достижении определенной цели продаж, или транскрибатор, работа которого оплачиваема в зависимости от количества заполненных документов. Другие схемы гораздо более сложны и могут включать такие инструменты, как участие в прибыли или ограничение акций.

Но все они связаны с важными решениями -  критическими компромиссами. Например, должен ли этот бонус быть легко доступным, но скромным? Или трудно зарабатываемым, но очень прибыльным? Некоторые сотрудники могут найти последний вариант более мотивирующим; а других он просто разочаровывает. А что с базовой зарплатой? Слишком высокая по сравнению с бонусом - и это может способствовать попустительству; слишком низкая - и сотрудники, предпочитающие стабильность, могут отказаться.

Более того, в зависимости от характера работы, также как и от индивидуальных предпочтений сотрудников, схема стимулирования, которая хорошо работает в одной организации, может потерпеть неудачу в другой. Это означает, что, с практической точки зрения, один из немногих способов для менеджеров узнать, лучшая ли схема мотивации внедрена в их организации  - это изменить существующую схему на ограниченный период времени - возможно, только в одном подразделении организации - а затем посмотреть, что на самом деле происходит с производительностью.

Итак, Георгиадис и Пауэлл решили определить, как много работодатели могут извлечь из одной настройки.

Исследователи построили математическую модель для анализа взаимодействия между работодателем и его сотрудниками. У работодателя есть действующая система стимулирования, и он собирает данные о том, насколько продуктивны его сотрудники в рамках этой системы стимулирования. Затем работодатель произвольно перенастраивает схему стимулирования - возможно, понижая порог для получения бонуса или увеличивая сдельную оплату - для некоторых или всех своих сотрудников и собирает данные о том, насколько продуктивны сотрудники при таких условиях.

Затем исследователи выяснили, насколько хорошо данные, полученные в результате указанного выше A/B-теста, можно использовать для создания нового - более эффективного - стимулирующего контракта.

«Предположим, мы найдем способ заставить сотрудников работать немного усерднее, в соответствии с новым набором условий контракта, - говорит Пауэлл. - Мы видим, что в среднем это изменение компенсации увеличило объем выпускаемой продукции или производительность на определенную величину. Но оказалось, что в этом эксперименте содержится гораздо больше информации. А именно, мы знаем, что произошло не только со средним объемом производства, но и с вероятностью получения низкой и высокой производительности. Это очень информативно»

Важно отметить, что работодатель может использовать данные о распределении ответов сотрудников, чтобы предсказать, как производительность сотрудников - и, в более широком смысле, прибыль работодателя - изменится при любых изменениях в контракте.

Как так? Например, глядя на распределение результатов в соответствии с двумя контрактами, работодатели могут узнать, чем вызвано увеличение средней производительности:  тем, что сотрудники с меньшей вероятностью будут бездействовать или тем, что они с большей вероятностью будут усердно работать. Разница кажется незначительной, но на самом деле она весьма значительна.

Если сотрудники, которые меньше бездельничают, увеличивают производительность в конкретной среде, «это говорит нам о том, что нам следовало бы наказывать за низкую производительность», - говорит Пауэлл. Так, например, работодатели могут платить сотрудникам меньше за одну задачу, если они выполнили необычно малое количество задач. Или работодатели могут предложить очень низкую базовую заработную плату с возможностью получения бонуса, если сотрудники чуть более, но на приемлемом уровне, производительны.

С другой стороны, если сотрудники, которые работают усерднее, показывают увеличение производительности в определенных условиях, это предполагает, что работодатели должны «платить людям больше, когда достигается высокая производительность», - говорит Пауэлл.

На практике это может означать, что сотрудникам нужно платить за задачу больше, если они выполняют амбициозно большое количество задач, или предлагать среднюю базовую зарплату с возможностью получения бонуса только в том случае, если сотрудники чрезвычайно продуктивны.

Проведение тестирования

Чтобы проверить точность своей модели с использованием данных о производительности, сгенерированных реальными участниками, исследователи обратились к ранее опубликованным данным участников, которые выполнили простую онлайн-задачу с применением шести различных схем оплаты.

Они хотели понять, насколько хорошо их модель может использовать реальные данные о производительности из любых двух схем оплаты, чтобы предсказать, как участники будут работать при друнэгой, совершенно иной схеме.

Модель смогла с высокой степенью точности прогнозировать эффективность других стимулирующих условий контрактов. «В среднем разница между прогнозируемой и фактической производительностью составляет чуть менее 2 процентов, - говорит Георгиадис. - Мы с Майком были очень удивлены тем, насколько точны прогнозы».

Исследователи также использовали реальные данные о производительности, чтобы проверить способность своей модели разработать лучшие условия контракта. Они задались вопросом: насколько близок этот контракт будет к "оптимальному"?

Они обнаружили, что в среднем использование данных из любых двух контрактов позволило бы работодателю составить третий контракт, который принесет чуть более двух третей прибыли, которую он получил бы, если бы мог разработать действительно "оптимальный" контракт.

«Вы не составляете "оптимальный" контракт, потому что у вас нет всей информации, - говорит Георгиадис. - Тем не менее, в условиях этого онлайн-эксперимента один A/B-тест может приблизить вас к оптимальности на две трети»

Преимущества A/B-тестирования

Концепция Пауэлла и Георгиадиса имеет ряд преимуществ, которые делают ее практичной для использования организациями. Во-первых, в отличие от многих предыдущих экономических исследований в области стимулирования, здесь не требуется, чтобы работодатель знал заранее что-либо о предпочтениях своих сотрудников, например, насколько им не нравится работать в более быстром темпе. Также от них не требуется полного понимания того, сколько усилий нужно для повышения производительности в данной рабочей среде.

«Мы утверждаем, что если вы хотите провести A/B-тестирование, вам не нужно много об этом знать», - говорит Пауэлл. «Вы просто наблюдаете, как они (сотрудники) реагируют».

Их подход может быть применен к организациям разного размера, хотя организации, которые могут провести более крупный эксперимент, в результате которого будет получено больше данных, узнают больше из своего теста.

Еще одно преимущество заключается в том, что статья исследователей включает все шаги, которые необходимо предпринять организации, чтобы на самом деле использовать данные A/B-теста для создания схемы стимулирования, близкой к оптимальной. Это само по себе является ключевым, потому что процедура едва ли очевидна.

Исследователи отмечают, что эта работа над A/B-тестами изначально была вдохновлена студентами из их курса по организационной стратегии. «Раньше мы преподавали основные принципы теории стимулирования, и нам всегда задавали вопрос: «Ну, а буквально, что мне делать? У моих родителей есть фабрика, и их рабочие получают сдельную оплату. Как нам изменить сдельную оплату?» И существующие инструменты не подходили для ответа на этот вопрос», - говорит Пауэлл.

А этот инструмент есть. И у него даже есть последнее преимущество: известность.

«В настоящее время фирмы используют эксперименты для различных целей, - говорит Георгиадис. -  Мы считаем, что это также может быть весьма полезно для разработки системы стимулирования».

среда, 1 августа 2018 г.

A/B test: инструмент рекрутера повышения отдачи от вакансии (предложение job сайтам)






Это предложение не только для job сайтов, но и для карьерных порталов компаний, но поскольку у нас карьерные порталы чаще это средство удовлетворения амбиций HR, а не рабочий инструмент привлечения кандидатов, то обращаюсь я скорее к представителям job сайтов.
A/B test: инструмент рекрутера повышения отдачи от вакансии (предложение job сайтам)

Суть A/B testing-а проста (см. также A/B тест: технология, которая меняет правила бизнеса): вы делите выборку пополам (но при этом выборки по признакам (пол, возраст и т.п.) одинаковы), даете им два разных стимула и смотрите на отдачу от каждой подвыборки. Например, вы даете детям зеленое и красное мороженое и смотрите, какое лучше едят.
Применительно к нашей ситуации, задача A/B testing-а выглядит так: job сайт клиентам предлагает разместить два разных варианта одной и той же вакансии.
ВАЖНО: рекрутеры (компания) сами определяют, что указывать в разных версиях вакансии (писать про плюшки или про agile). Кроме того, Заказчик (рекрутер) указывает срок эксперимента. Про это чуть дальше.
Далее job сайт в рамках A/B testing-а берет на себя обязательство обеспечить рандомный доступ к вакансии (т.е. все кандидаты и иже с ними буду случайным образом (запомните умное слово - рандомно) перенаправляться на один из вариантов вакансии). Рандомность нам нужна здесь для уверенности в том, что выборки идентичны с т.з. парметров кандидатов: пол, возраст, образование и т.д...
После завершения эксперимента (напомню, что рекрутер сам указывает срок эксперимента) job сайт выдает вот такую статистику:

версия 1
версия 2
Просмотры
546
551
Общее время просмотра (мин)
110
83
Отклики
13
28

И к этому вот, например, такую фразу: Z-критерий для разности долей откликов на вакансию p-value = 0.018377.
Для вас, как для Заказчика это означает, что вторая версия вакансии дала значимо бОльший % откликов.
Понятно, что это только контур продукта, его можно допиливать, но идея такая.
Один очень важный плюс: здесь уже нечего будет языком бла бла бла по поводу того, что писать в вакансии, верно? Тут экспертиза проверяется математикой, не так ли?
На карьерном портале можно играться не только текстом вакансии, но и дизайном оформления.

Хотели бы вы такой сервис A/B testing-а от job сайтов?

__________________________________________________________

На этом все, читайте нас в фейсбуке, телеграмме и вконтакте




воскресенье, 13 августа 2017 г.

Вовлечение персонала через e-mail рассылки: A/B тест. Часть 3

Это уже третья часть эксперимента с рассылкой сайта HRM. Цель эксперимента - повысить вовлеченность подписчиков, а точнее - увеличить количество открытий писем и количество переходов по ссылке.
Суть A/B test-а - проста - (подробнее здесь): если мы разобьем всех получателей рассылки на две группы, причем разобьем случайным образом, и для каждой группы зададим какие то свои, определенные параметры, то мы можем выяснить, какие именно параметры лучше всего подходят нашей рассылке.
Вовлечение персонала через e-mail рассылки: A/B тест. Часть 3

  1. Вовлечение персонала через e-mail рассылки: A/B тест - в первой части я делил группы по имени отправителя. 
  2. Вовлечение персонала через e-mail рассылки: A/B тест. Часть 2 - во второй части каждая группа получала рассылку с разным название, одно название "просто" "рассылка сайта HRM", а другая содержала в себе название тем рассылки 

Вовлечение персонала через e-mail рассылки: A/B тест. Часть 3

В третьей части я дал группам разные названия, и оба названия рассылки содержали в себе названия тем рассылки, но темы были разные для каждого названия. Гипотеза была проста - проверить, чаще ли получали подписки переходят по ссылкам тем, указанных в названии рассылки или нет. На прошлой неделе вышло две такие рассылки

8 августа


Доставлено

Открыто

Переходов

Переходов уникалов

Отписалось
Сервис борьбы со стрессом, компьютер оценил менеджеров Силиконовой Долины, отпускные 2017
5042
303
98
50
 3
Как роботы ищут персонал, востребованные профессии Мск, чиновники учатся предотвращать секс домогательства
5040
259
77
45
 7
В крайней левой колонке название рассылки, и каждое название состоит из трех тем, и темы не совпадают.
Даже визуально связь не проглядывается, количество открытых писем в первой случае больше, но значимость Хи квадрат 0.07867, поэтому разницы нет. Но мы гипотезу строили не про общую статистику рассылки, а про конкретные темы, поэтому давайте посмотрим на эту статистику.



первая
вторая
Онлайн-сервис по борьбе со стрессом Welltory привлек $1 млн
18
6
Суперкомпьютер IBM назвал самого осторожного и самого неосторожного руководителя Кремниевой долины
6
3
Отпускные – 2017: правила оформления без ошибок. Как оформить ежегодный основной оплачиваемый отпуск, чтобы соблюсти нормы трудового законодательства и избежать штрафов ГИТ?
5
2
Рекрутер с железной хваткой: как роботы ищут и нанимают людей
8
20
Самые востребованные профессии в Москве
9
16
Чиновники учатся предотвращать сексуальные домогательства на рабочем месте
3
5
В этой таблице цветом обозначены темы рассылок (желтым темы в названии первой рассылки, зеленым- темы в названии второй рассылки). При этом напомню: в названии рассылок темы были указаны разные, но само содержание письма было идентично. Т.е. тема про он лайн сервис была в обоих письмах, в названии была отражена только для одной из групп получателей. 
И в колонках - переходы по ссылкам. Т.е в первой группе по ссылке Онлайн-сервис по борьбе со стрессом Welltory привлек $1 млн перешли 18 раз, во второй группе - 6 раз. И в первой группе эта тема была в названии. Можно ли сказать, что в первой рассылке по ссылкам, указанным в названии, ходили значимо чаще? Ответ - да, p-value = 0.03408. Но значимость слабая. (я суммировал переходы по ссылкам и считал относительно числа открытых писем) 
Тот же самый показатель для второй рассылки -p-value = 0.002684. Показатель значительно лучше. 
Т.е. мы делаем вывод - да, вынесение названия темы в название рассылки значимо повышает количество переходов по ней. Хотя разные значимости говорят, что темы бывают разными. 

10 августа

Для валидации сделал тоже самое в рассылке 10 августа. Сразу к результатам.

Доставлено


Открыто

Переходов

Переходов уникалов

Отписалось
Ошибки в соцсетях с т.з. карьеры, Греф сокращает Сбер, странные вакансии
5033
365
329
141
2
Лучшие HR-практики Росатома, россияне оценили свою жизнь, заверяем копии трудовых по новому
5016
291
167
65
7
Заметно преимущество первой рассылки - "угадал" с названием.
В первом случае открывали значимо чаще - p-value = 0.006585.
Количество переходов было еще значимей - p-value = 2.233e-12.
И переходы уникалов p-value = 2.64e-07.
Мимоходом замечу, что в первой рассылке было больше тех, кто делал два и более перехода, а значит "угадал" не с одной темой, а с несколькими.

первая
вторая
10 промахов в соцсетях, которые точно испортят вашу карьеру
77
27
Греф анонсировал массовые сокращения в Сбербанке
63
16
Антиголубь, Саурон, русалка: странные вакансии и соискатели
23
10
Разработка УЭХК вошла в ТОП-3 лучших HR-практик Росатома
6
11
Россияне оценили свою жизнь в 5,7 млн рублей
7
3
Заверяем копии трудовых по-новому
35
22

Результат забавный!
Для первой группы Хи квадрат p-value = 3.582e-07 просто невероятное превосходство, а для второй рассылки Хи квадрат не значим.
Отсюда напрашивается еще одна гипотеза: не старайтесь в названии протолкнуть всякое говно, которое вы хотите, чтобы подписчики скушали. Более выгодной может оказаться стратегия, когда вы в названии дадите конфетку, а говно будет просто в топе.
Но это тоже надо проверить, чем я дальше и займусь.
И еще напрашивается более глобальное исследование:) Постараюсь сделать хоть набросок в этом году.
Можете обращаться ко мне за консультациями (edvb()yandex.ru) по применению данного метода, экспериментируйте сами.

Понравился пост? 

и Вы захотите выразить мне благодарность, просто покликайте на директ рекламу ниже на странице - у вас это отнимет несколько секунд, а мне принесет немного денег.
На этом все, читайте нас в фейсбуке 

суббота, 5 августа 2017 г.

Вовлечение персонала через e-mail рассылки: A/B тест. Часть 2

Это уже вторая часть, первую часть смотрите Вовлечение персонала через e-mail рассылки: A/B тест.
Вкратце суть простая: я предлагаю вам поэкспериментировать с корпоративной рассылкой с целью поднять вовлеченность персонала. Но поскольку уговорить вас провести такой эксперимент тяжело, признаюсь, я не умею продавать свои услуги, то мне проще сделать такой эксперимент на своих данных.
Я веду рассылку сайта HRM. У меня есть статистика доставленных писем, количеств открытых писем, количества переходов.
Суть метода A/B test проста (подробнее здесь): если мы разобьем всех получателей рассылки на две группы, причем разобьем случайным образом, и для каждой группы зададим какие то свои, определенные параметры, то мы можем выяснить, какие именно параметры лучше всего подходят нашей рассылке.
Вовлечение персонала через e-mail рассылки: A/B тест. Часть 2

В первом выпуске я задавал разные параметры в имени отправителя рассылки: для одной группы отправителем был "HRM" во втором выпуске  - "Бабушкин Эдуард".
На этой неделе я игрался с названием рассылки.
Без болтовни к

Результатам
1 августа

Вышла рассылка с идентичным содержанием, но разными названиями для групп (отправитель для обоих групп был HRM):
  1. рассылка сайта HRM
  2. Рейтинг ВУЗов, откровенно о зарплате, дискриминация в подборе и утро понедельника
Во второй рассылке перечислялись темы статей. И гипотеза, как вы легко можете догадаться была простой: а стоит ли напрягаться и прописывать так название?

Статистика


Доставлено
Открыто
Переходов
Переходов уникалов
Отписалось
рассылка сайта HRM
5042
338
96
56
14
Рейтинг ВУЗов, откровенно о зарплате, дискриминация в подборе и утро понедельника
5038
313
158
93
19
Сразу бросается в глаза результат: в первом случае больше открытий, но меньше переходов!
Что говорят статистические критерии (если хотите понимать, про что я ниже пишу и сами уметь считать, то вам сюда Семинар - практикум "Аналитика для HR", 19-20 октября 2017 г., г Москва):
  • Хи квадрат для соотношения доставленных и открытых писем p-value = 0.3684, и мы больше не смущаемся большему числу открытых писем.
  • Хи квадрат для соотношения доставленных писем и переходов p-value = 0.0001538. И это совсем неплохо. 
  • Для переходов уникалов (отличие от предыдущего в том, что в просто переходах один и тот человек может сделать два и более переходов по ссылкам, а переход уникал - этот один человек, сколько бы переходов он не сделал) - p-value = 0.003375
  • И для отписантов Хи квадрат равен p-value = 0.4859. И славбох.
Интерпретация результатов: на количество открытий разные названия не влияют, не влияют на количество отписавшихся, но в случае названия, где указаны темы выпуска, количество переходов выше, причем преимущество особенно возрастает в том, что в группе в названием тем выпуска получатели чаще делают по два и более перехода.
Проверим на выпуске

3 августа

Названия рассылок
  1. рассылка сайта HRM
  2. Проверка на стресс в банке, что нужно знать об управлении персоналом в 2017, как не исчезнуть с рынка труда

Статистика


Доставлено
Открыто
Переходов
Переходов уникалов
Отписалось
рассылка сайта HRM
5012
272
95
44
7
Рейтинг ВУЗов, откровенно о зарплате, дискриминация в подборе и утро понедельника
5011
276
149
73
7
Тут есть одна небольшая засада: рассылки читают не сразу в первый день выпуска, поэтому у рассылки 3 августа в целом показатели чуть хуже, просто потому, что у меньшего количества руки дошли. Я нетерпеливый, ждать не могу. тем более, что последующие изменения не сильно влияют на картину в целом. Ну и статистические критерии говорят:

  • Сравнение доли открытых и доставленных не имеет смысла: различия незначимы очевидно, p-value = 0.9007;
  • Сразу тоже скажу для количества отписавшихся;
  • Хи квадрат доли доставленных и переходов - p-value = 0.000801 - примерно в пять раз хуже, чем в первом случае, но нас, согласитесь, устроит. 
  • И для переходов уникалов - p-value = 0.01006 - и это не есть здорово.

Тем не менее, мы говорим, что в целом подтверждается гипотеза о том, что рассылка с тематическим названием дает большее количество переходов, особенно переходов два и более клика от одного пользователя.
Таким образом, можно твердо сказать: не стесняйтесь делать тематические названия рассылки.
Вам кажется вывод банальным? Ну может и так, хотя я не согласен и считаю, что вот такие "банальности" и должны всегда подтверждаться, и я могу совершенно четко количественно оценить выигрыш.
И да, это не последний мой пост по данной тематике, я продолжу эксперимент:) Гото от вас услышать гипотезы, с чем можно поэкпериментировать.
Можете обращаться ко мне за консультациями (edvb()yandex.ru) по применению данного метода, экспериментируйте сами.

Понравился пост? 

и Вы захотите выразить мне благодарность, просто покликайте на директ рекламу ниже на странице - у вас это отнимет несколько секунд, а мне принесет немного денег.
На этом все, читайте нас в фейсбуке 

пятница, 28 июля 2017 г.

Вовлечение персонала через e-mail рассылки: A/B тест

Несколько раз обращался к коллегам с предложением сделать такую штуку в компании, но я, видимо, не убедителен в убеждении. Тем не менее, A/B анализ крайне простой метод анализа, но эффективность его от этого не падает. И им не чураются пользоваться даже такие чуваки, как, например, Барак Обама во время президентской гонки - см. A/B тест: технология, которая меняет правила бизнеса/

Суть A/B теста

Вовлечение персонала через e-mail рассылки: A/B тест

Многие HR сталкивались с тем, что отдача от корпоративной рассылки ничтожна. Неважно, просите ли вы через рассылку поучаствовать в корпоративном исследовании или конкурсе, прислать свои предложения по каким то корпоративным проектам.
При этом, когда анализируют результаты рассылки, думают едва ли не в первую очередь о том, что можно было бы дать другое название рассылки, можно было бы изменить текст самого письма и т.п... Анализ чаще всего на обсуждении и заканчивается. Спорщики разбегаются каждый при своем мнении, хотя можно было бы проверить мнения математически.
К примеру, у вас два разных мнения, как правильно назвать рассылку. Тогда вы разбираете случайным образом ваших подписчиков на две равные группы, и каждой группе высылаете рассылку со своим названием.
Потом считаете, например,

  1. количество открытых писем каждой группой
  2. количество выполненных действий (например, сколько с каждой рассылки прошли корпоративное исследование)

И выявляете победителя, какое название дало лучший результат для вас (с помощью статистического критерия, конечно, а не просто, кто больше).
Просто? Вы помните подобные кейсы в HR? Этот же подход можно использовать при рассылке писем кандидатам, чтобы посчитать конверсию. Ну и т.д., что ваша буйная фантазия нафантазирует. Хотите у себя в компании внедрить? читайте мой кейс ниже и пишите edvb()yandex.ru. Хотите сами научиться делать такое, вам сюда Семинар - практикум "Аналитика для HR", 19-20 октября 2017 г., г Москва

Конкретный кейc

Поскольку компании мне не дают свои данные, я сделал кейс на основе данных рассылки сайта HRM. Сразу предупреждаю, что я буду делать новые эксперименты, и этот пост - только начало кейса, я хочу сделать несколько крутых вещей.

Имя отправителя

Первым шагом в своих исследованиях я решил поиграться с именем и адресом отправителя. Если Вы получаете рассылку. Всего я выпустил на этой неделе три рассылки - 25, 26, 27 июля, каждая из которых была разбита на две части. Части были равными = 50 / 50 (формируются они случайным образом - это важное условие). И разница между была только в имени отправителя и адресе отправителя. Для одной части имя отправителя и е майл звучали как HRM и hrm@hrm.ru, для другой части Бабушкин Эдуард и edvb@hrm.ru.
Мои большие "поклонники", рекомендую вам обвинения в самолюбовании оставить при себе, есть гипотеза о том, что личная рассылка более эффективна. Давайте проверим.

Выпуск 25 июля

Выпуск назывался Профстандарты, зарплатные ожидания, тренды HR, чем опасны тренинги, почему руководителя не увольняют за грубость. Статистика такая.

Таблица №1 

Доставлено
Открыто
Переходов
Отписалось
HRM
5043
306
67
4
Бабушкин Эдуард
5029
544
141
28
Всего
10072
847
210
32

В первой колонке - имя отправителя. Заметно, что открывали чаще письма с отправителем Бабушкин Эдуард, переходили также. И ложка дегтя - отписывались значительно чаще. Давайте спросим эксперта Хиквадратыча, что он нам скажет, можно ли эти различия считать значимыми
Разница в открытии письма = P value 4.361e-15 говорит нам Хиквадратыч. Т.е. зашибись: доля открытых писем у Бабушкина (544 / 5029) значимо выше, чем долу у HRM (306 / 5043). 
Та же самая мера оценки разницы для доли переходов дает значимость 4.939e-07. Хуже, чем у открытий писем, но ок.
И для доли числа отписавшихся оракул Хиквадратыч выдал 4.768e-05.

Вопрос № 1

А может это и не прибавка вовсе? Чтобы говорить о прибавке, надо сравнить с прошлыми выпусками.  И если Бабушкин даст прибавку в сравнении с прошлыми выпусками, то прибавка точно есть.
Даю статистику по 5 последним выпускам до эксперимента

Таблица №2

Доставлено
Открыто
Переходов
Отписалось
KPI для рекрутера, важна ли стоимость закрытия вакансии, VR в обучении
10 038
615
152
8
14 примеров HR-метрик
10 039
726
151
13
HR-боты и Tinder в рекрутинге, образование в будущем, профессии в России уже сейчас
10 032
684
156
14
Пора стать цифровыми, диджитал, геолокация работников, индустрия 4.0, мы все таланты и лучшие ВУЗы по ЗП
9 983
633
105
9
Почему нас нет в Мировом рейтинге, новые способы рекрутинга, лучшие ВУЗы по ЗП выпускников
9 995
615
92
7
СРЕДНЕЕ
10 017
655
131
10
Среднее/ 2
5008.7
327.3
65.6
5.1

Здесь вам должно быть все понятно: в первой колонке название рассылки, далее все тоже самое, что и в предыдущей таблице.
Последняя строка нужна для того, чтобы вы сравнили данные первой таблицы и второй. Согласитесь, просто визуальный анализ подсказывает, что параметры второй таблицы практически идентичны данным из первой таблицы, соответствующим имени отправителя HRM.
Тем не менее, наш эксперт Хиквадратыч говорит нам, что P-value для долей открытых писем равно 2.2e-16, что нам не может не нравиться, тот же самый показатель для долей переходов 1.687e-10. Соотношение чуть хуже, что наводит на банальную гипотезу ожидали от Бабушкина что то новенькое, а там все тоже унылое говно, поэтому письмо открыли, а по ссылкам не пошли, что название письма сильнее связано с долей открытий, чем с долей переходов. Хиквадрат в данном случае нельзя брать как меру связи, но любители докапываться до истины могут измерить размер эффекта и убедятся, что, например, V Cramer-а для доли открытых писем тоже повыше будет. 
Ок, мы установили, что Бабушкин дает прибавку в сравнении с HRM, но возникает

Вопрос №2 

А может это лишь эффект новизны сработал? Помните Хоторнский эксперимент?
Поэтому я дал еще две подряд рассылки с разбиением на группы Бабушкин и HRM. Если гипотеза про Хоторнский эксперимент верна, то мы должны ожидать сглаживания различий в открытии писем. Причем, вероятность того, что в третьей подряд рассылке получатель впервые получит письмо от Бабушкина, равна 12, 5 % (вероятность первой рассылки 50 %, второй уже 25 %, и далее по убывающей). Т.е. доля людей, кто увидит впервые Бабушкина в третьей рассылке чуть больше каждого десятого. 

Рассылка 26 июля

Выпуск назывался 21 Метрика эффективности сотрудников.
Таблица №3
Доставлено
Открыто
Переходов
Отписалось
HRM
5038
346
72
6
Бабушкин Эдуард
5046
521
105
17
10084
867
177
23
Сразу к показателям. Хи квадрат для открытия писем p-value = 1.641e-08 (и уже заметно, как провалился показатель). Для переходов - p-value = 0.01766, ваще жесть, и мы можем быть даже не уверены в том, что значимые различия есть. И только отписки немного радуют: p-value = 0.03766. Хотя чё уж тут радоваться....
И контрольный выстрел

Рассылка 27 июля

Выпуск назывался Можно ли отказать кандидату на том основании, что он гей. Заметили, что я давал максимально разные названия рассылкам?
Доставлено
Открыто
Переходов
Отписалось
HRM
5009
312
74
2
Бабушкин Эдуард
5032
537
130
20
10040
775
204
20
Хи квадрат для открытия p-value = 2.537e-13 (для рассылки 25 июля - 4.361e-15). Показатель Крамера 0.07011567, тот же показатель для рассылки 25 июля 0.07505708. 
Хи квадрат для переходов p-value = 3.09e-05 (25 июля - 4.939e-07). В Крамера - 0.04113424 (25 июля - 0.04959725). 
И отписки дали Хи квадрат p-value = 0.0003021 (25 июля - 4.768e-05). 

Резюме

  1. A/B test несмотря на крайне простой математический аппарат не является простым в обращении, мы получили результаты, которые нельзя трактовать однозначно
  2. Выросло значимо число открытий писем, но выросло число отписок (в корпоративной потовой системе вам это слав бох не грозит);
  3. Разница в доле открытых писем снижается после нескольких рассылок, но эта динамика не носит резкий падающий характер, не носит линейный падающий характер (26 июля значения упали резко, но 27 различия опять выросли, хотя и не до уровня 25 июля). 
  4. В любом случае, мы можем сделать вывод, если мы хотим в краткосрочной перспективе вовлечь персонал в какой то проект, мы можем изменить имя отправителя рассылки. 
  5. В дальнейшем я продолжу эксперименты с рассылкой, буду изменять также название рассылки и текст письма. 
  6. Обращаю ваше внимание, что вам, внутренним HR, если вы хотите работать с этим инструментом, открывается просто несколько вкусных полянок, где вы можете собирать грибочки A/B test-а: внутренние коммуникации, подбор персонала, дистанционное и очное обучение. Ну и так далее.... 
Желаю вам приобщаться к A/B test. Хотел бы а) услышать ваши соображения по поводу полученных результатов и б) увидеть ваши кейсы. 

Понравился пост? 

и Вы захотите выразить мне благодарность, просто покликайте на директ рекламу ниже на странице - у вас это отнимет несколько секунд, а мне принесет немного денег. 
На этом все, читайте нас в фейсбуке