Вовлечение персонала через e-mail рассылки: A/B тест. Часть 3

Это уже третья часть эксперимента с рассылкой сайта HRM. Цель эксперимента - повысить вовлеченность подписчиков, а точнее - увеличить количество открытий писем и количество переходов по ссылке.
Суть A/B test-а - проста - (подробнее здесь): если мы разобьем всех получателей рассылки на две группы, причем разобьем случайным образом, и для каждой группы зададим какие то свои, определенные параметры, то мы можем выяснить, какие именно параметры лучше всего подходят нашей рассылке.

1. Вовлечение персонала через e-mail рассылки: A/B тест - в первой части я делил группы по имени отправителя. 
2. Вовлечение персонала через e-mail рассылки: A/B тест. Часть 2 - во второй части каждая группа получала рассылку с разным название, одно название "просто" "рассылка сайта HRM", а другая содержала в себе название тем рассылки 

Вовлечение персонала через e-mail рассылки: A/B тест. Часть 3

В третьей части я дал группам разные названия, и оба названия рассылки содержали в себе названия тем рассылки, но темы были разные для каждого названия. Гипотеза была проста - проверить, чаще ли получали подписки переходят по ссылкам тем, указанных в названии рассылки или нет. На прошлой неделе вышло две такие рассылки

8 августа

	Доставлено	Открыто	Переходов	Переходов уникалов	Отписалось
Сервис борьбы со стрессом, компьютер оценил менеджеров Силиконовой Долины, отпускные 2017	5042	303	98	50	3
Как роботы ищут персонал, востребованные профессии Мск, чиновники учатся предотвращать секс домогательства	5040	259	77	45	7

В крайней левой колонке название рассылки, и каждое название состоит из трех тем, и темы не совпадают.
Даже визуально связь не проглядывается, количество открытых писем в первой случае больше, но значимость Хи квадрат 0.07867, поэтому разницы нет. Но мы гипотезу строили не про общую статистику рассылки, а про конкретные темы, поэтому давайте посмотрим на эту статистику.

	первая	вторая
Онлайн-сервис по борьбе со стрессом Welltory привлек $1 млн	18	6
Суперкомпьютер IBM назвал самого осторожного и самого неосторожного руководителя Кремниевой долины	6	3
Отпускные – 2017: правила оформления без ошибок. Как оформить ежегодный основной оплачиваемый отпуск, чтобы соблюсти нормы трудового законодательства и избежать штрафов ГИТ?	5	2
Рекрутер с железной хваткой: как роботы ищут и нанимают людей	8	20
Самые востребованные профессии в Москве	9	16
Чиновники учатся предотвращать сексуальные домогательства на рабочем месте	3	5

В этой таблице цветом обозначены темы рассылок (желтым темы в названии первой рассылки, зеленым- темы в названии второй рассылки). При этом напомню: в названии рассылок темы были указаны разные, но само содержание письма было идентично. Т.е. тема про он лайн сервис была в обоих письмах, в названии была отражена только для одной из групп получателей. 

И в колонках - переходы по ссылкам. Т.е в первой группе по ссылке Онлайн-сервис по борьбе со стрессом Welltory привлек $1 млн перешли 18 раз, во второй группе - 6 раз. И в первой группе эта тема была в названии. Можно ли сказать, что в первой рассылке по ссылкам, указанным в названии, ходили значимо чаще? Ответ - да, p-value = 0.03408. Но значимость слабая. (я суммировал переходы по ссылкам и считал относительно числа открытых писем) 

Тот же самый показатель для второй рассылки -p-value = 0.002684. Показатель значительно лучше. 

Т.е. мы делаем вывод - да, вынесение названия темы в название рассылки значимо повышает количество переходов по ней. Хотя разные значимости говорят, что темы бывают разными. 

10 августа

Для валидации сделал тоже самое в рассылке 10 августа. Сразу к результатам.

	Доставлено	Открыто	Переходов	Переходов уникалов	Отписалось
Ошибки в соцсетях с т.з. карьеры, Греф сокращает Сбер, странные вакансии	5033	365	329	141	2
Лучшие HR-практики Росатома, россияне оценили свою жизнь, заверяем копии трудовых по новому	5016	291	167	65	7

Заметно преимущество первой рассылки - "угадал" с названием.
В первом случае открывали значимо чаще - p-value = 0.006585.
Количество переходов было еще значимей - p-value = 2.233e-12.
И переходы уникалов p-value = 2.64e-07.
Мимоходом замечу, что в первой рассылке было больше тех, кто делал два и более перехода, а значит "угадал" не с одной темой, а с несколькими.

	первая	вторая
10 промахов в соцсетях, которые точно испортят вашу карьеру	77	27
Греф анонсировал массовые сокращения в Сбербанке	63	16
Антиголубь, Саурон, русалка: странные вакансии и соискатели	23	10
Разработка УЭХК вошла в ТОП-3 лучших HR-практик Росатома	6	11
Россияне оценили свою жизнь в 5,7 млн рублей	7	3
Заверяем копии трудовых по-новому	35	22

Результат забавный!
Для первой группы Хи квадрат p-value = 3.582e-07 просто невероятное превосходство, а для второй рассылки Хи квадрат не значим.
Отсюда напрашивается еще одна гипотеза: не старайтесь в названии протолкнуть всякое говно, которое вы хотите, чтобы подписчики скушали. Более выгодной может оказаться стратегия, когда вы в названии дадите конфетку, а говно будет просто в топе.
Но это тоже надо проверить, чем я дальше и займусь.
И еще напрашивается более глобальное исследование:) Постараюсь сделать хоть набросок в этом году.
Можете обращаться ко мне за консультациями (edvb()yandex.ru) по применению данного метода, экспериментируйте сами.

Понравился пост? 

и Вы захотите выразить мне благодарность, просто покликайте на директ рекламу ниже на странице - у вас это отнимет несколько секунд, а мне принесет немного денег.
На этом все, читайте нас в фейсбуке