Вовлечение персонала через e-mail рассылки: A/B тест

Несколько раз обращался к коллегам с предложением сделать такую штуку в компании, но я, видимо, не убедителен в убеждении. Тем не менее, A/B анализ крайне простой метод анализа, но эффективность его от этого не падает. И им не чураются пользоваться даже такие чуваки, как, например, Барак Обама во время президентской гонки - см. A/B тест: технология, которая меняет правила бизнеса/

Суть A/B теста

Многие HR сталкивались с тем, что отдача от корпоративной рассылки ничтожна. Неважно, просите ли вы через рассылку поучаствовать в корпоративном исследовании или конкурсе, прислать свои предложения по каким то корпоративным проектам.
При этом, когда анализируют результаты рассылки, думают едва ли не в первую очередь о том, что можно было бы дать другое название рассылки, можно было бы изменить текст самого письма и т.п... Анализ чаще всего на обсуждении и заканчивается. Спорщики разбегаются каждый при своем мнении, хотя можно было бы проверить мнения математически.
К примеру, у вас два разных мнения, как правильно назвать рассылку. Тогда вы разбираете случайным образом ваших подписчиков на две равные группы, и каждой группе высылаете рассылку со своим названием.
Потом считаете, например,

1. количество открытых писем каждой группой
2. количество выполненных действий (например, сколько с каждой рассылки прошли корпоративное исследование)

И выявляете победителя, какое название дало лучший результат для вас (с помощью статистического критерия, конечно, а не просто, кто больше).
Просто? Вы помните подобные кейсы в HR? Этот же подход можно использовать при рассылке писем кандидатам, чтобы посчитать конверсию. Ну и т.д., что ваша буйная фантазия нафантазирует. Хотите у себя в компании внедрить? читайте мой кейс ниже и пишите edvb()yandex.ru. Хотите сами научиться делать такое, вам сюда Семинар - практикум "Аналитика для HR", 19-20 октября 2017 г., г Москва

Конкретный кейc

Поскольку компании мне не дают свои данные, я сделал кейс на основе данных рассылки сайта HRM. Сразу предупреждаю, что я буду делать новые эксперименты, и этот пост - только начало кейса, я хочу сделать несколько крутых вещей.

Имя отправителя

Первым шагом в своих исследованиях я решил поиграться с именем и адресом отправителя. Если Вы получаете рассылку. Всего я выпустил на этой неделе три рассылки - 25, 26, 27 июля, каждая из которых была разбита на две части. Части были равными = 50 / 50 (формируются они случайным образом - это важное условие). И разница между была только в имени отправителя и адресе отправителя. Для одной части имя отправителя и е майл звучали как HRM и hrm@hrm.ru, для другой части Бабушкин Эдуард и edvb@hrm.ru.
Мои большие "поклонники", рекомендую вам обвинения в самолюбовании оставить при себе, есть гипотеза о том, что личная рассылка более эффективна. Давайте проверим.

Выпуск 25 июля

Выпуск назывался Профстандарты, зарплатные ожидания, тренды HR, чем опасны тренинги, почему руководителя не увольняют за грубость. Статистика такая.

Таблица №1 

	Доставлено	Открыто	Переходов	Отписалось
HRM	5043	306	67	4
Бабушкин Эдуард	5029	544	141	28
Всего	10072	847	210	32

В первой колонке - имя отправителя. Заметно, что открывали чаще письма с отправителем Бабушкин Эдуард, переходили также. И ложка дегтя - отписывались значительно чаще. Давайте спросим эксперта Хиквадратыча, что он нам скажет, можно ли эти различия считать значимыми

Разница в открытии письма = P value 4.361e-15 говорит нам Хиквадратыч. Т.е. зашибись: доля открытых писем у Бабушкина (544 / 5029) значимо выше, чем долу у HRM (306 / 5043). 

Та же самая мера оценки разницы для доли переходов дает значимость 4.939e-07. Хуже, чем у открытий писем, но ок.

И для доли числа отписавшихся оракул Хиквадратыч выдал 4.768e-05.

Вопрос № 1

А может это и не прибавка вовсе? Чтобы говорить о прибавке, надо сравнить с прошлыми выпусками.  И если Бабушкин даст прибавку в сравнении с прошлыми выпусками, то прибавка точно есть.

Даю статистику по 5 последним выпускам до эксперимента

Таблица №2

	Доставлено	Открыто	Переходов	Отписалось
KPI для рекрутера, важна ли стоимость закрытия вакансии, VR в обучении	10 038	615	152	8
14 примеров HR-метрик	10 039	726	151	13
HR-боты и Tinder в рекрутинге, образование в будущем, профессии в России уже сейчас	10 032	684	156	14
Пора стать цифровыми, диджитал, геолокация работников, индустрия 4.0, мы все таланты и лучшие ВУЗы по ЗП	9 983	633	105	9
Почему нас нет в Мировом рейтинге, новые способы рекрутинга, лучшие ВУЗы по ЗП выпускников	9 995	615	92	7
СРЕДНЕЕ	10 017	655	131	10
Среднее/ 2	5008.7	327.3	65.6	5.1

Здесь вам должно быть все понятно: в первой колонке название рассылки, далее все тоже самое, что и в предыдущей таблице.

Последняя строка нужна для того, чтобы вы сравнили данные первой таблицы и второй. Согласитесь, просто визуальный анализ подсказывает, что параметры второй таблицы практически идентичны данным из первой таблицы, соответствующим имени отправителя HRM.

Тем не менее, наш эксперт Хиквадратыч говорит нам, что P-value для долей открытых писем равно 2.2e-16, что нам не может не нравиться, тот же самый показатель для долей переходов 1.687e-10. Соотношение чуть хуже, что наводит на банальную гипотезу ожидали от Бабушкина что то новенькое, а там все тоже унылое говно, поэтому письмо открыли, а по ссылкам не пошли, что название письма сильнее связано с долей открытий, чем с долей переходов. Хиквадрат в данном случае нельзя брать как меру связи, но любители докапываться до истины могут измерить размер эффекта и убедятся, что, например, V Cramer-а для доли открытых писем тоже повыше будет. 

Ок, мы установили, что Бабушкин дает прибавку в сравнении с HRM, но возникает

Вопрос №2 

А может это лишь эффект новизны сработал? Помните Хоторнский эксперимент?

Поэтому я дал еще две подряд рассылки с разбиением на группы Бабушкин и HRM. Если гипотеза про Хоторнский эксперимент верна, то мы должны ожидать сглаживания различий в открытии писем. Причем, вероятность того, что в третьей подряд рассылке получатель впервые получит письмо от Бабушкина, равна 12, 5 % (вероятность первой рассылки 50 %, второй уже 25 %, и далее по убывающей). Т.е. доля людей, кто увидит впервые Бабушкина в третьей рассылке чуть больше каждого десятого. 

Рассылка 26 июля

Выпуск назывался 21 Метрика эффективности сотрудников.

Таблица №3

	Доставлено	Открыто	Переходов	Отписалось
HRM	5038	346	72	6
Бабушкин Эдуард	5046	521	105	17
	10084	867	177	23

Сразу к показателям. Хи квадрат для открытия писем p-value = 1.641e-08 (и уже заметно, как провалился показатель). Для переходов - p-value = 0.01766, ваще жесть, и мы можем быть даже не уверены в том, что значимые различия есть. И только отписки немного радуют: p-value = 0.03766. Хотя чё уж тут радоваться....

И контрольный выстрел

Рассылка 27 июля

Выпуск назывался Можно ли отказать кандидату на том основании, что он гей. Заметили, что я давал максимально разные названия рассылкам?

	Доставлено	Открыто	Переходов	Отписалось
HRM	5009	312	74	2
Бабушкин Эдуард	5032	537	130	20
	10040	775	204	20

Хи квадрат для открытия p-value = 2.537e-13 (для рассылки 25 июля - 4.361e-15). Показатель Крамера 0.07011567, тот же показатель для рассылки 25 июля 0.07505708. 

Хи квадрат для переходов p-value = 3.09e-05 (25 июля - 4.939e-07). В Крамера - 0.04113424 (25 июля - 0.04959725). 

И отписки дали Хи квадрат p-value = 0.0003021 (25 июля - 4.768e-05). 

Резюме

1. A/B test несмотря на крайне простой математический аппарат не является простым в обращении, мы получили результаты, которые нельзя трактовать однозначно
2. Выросло значимо число открытий писем, но выросло число отписок (в корпоративной потовой системе вам это слав бох не грозит);
3. Разница в доле открытых писем снижается после нескольких рассылок, но эта динамика не носит резкий падающий характер, не носит линейный падающий характер (26 июля значения упали резко, но 27 различия опять выросли, хотя и не до уровня 25 июля). 
4. В любом случае, мы можем сделать вывод, если мы хотим в краткосрочной перспективе вовлечь персонал в какой то проект, мы можем изменить имя отправителя рассылки. 
5. В дальнейшем я продолжу эксперименты с рассылкой, буду изменять также название рассылки и текст письма. 
6. Обращаю ваше внимание, что вам, внутренним HR, если вы хотите работать с этим инструментом, открывается просто несколько вкусных полянок, где вы можете собирать грибочки A/B test-а: внутренние коммуникации, подбор персонала, дистанционное и очное обучение. Ну и так далее.... 

Желаю вам приобщаться к A/B test. Хотел бы а) услышать ваши соображения по поводу полученных результатов и б) увидеть ваши кейсы. 

Понравился пост? 

и Вы захотите выразить мне благодарность, просто покликайте на директ рекламу ниже на странице - у вас это отнимет несколько секунд, а мне принесет немного денег. 

На этом все, читайте нас в фейсбуке