Share |

воскресенье, 13 августа 2017 г.

Вовлечение персонала через e-mail рассылки: A/B тест. Часть 3

Это уже третья часть эксперимента с рассылкой сайта HRM. Цель эксперимента - повысить вовлеченность подписчиков, а точнее - увеличить количество открытий писем и количество переходов по ссылке.
Суть A/B test-а - проста - (подробнее здесь): если мы разобьем всех получателей рассылки на две группы, причем разобьем случайным образом, и для каждой группы зададим какие то свои, определенные параметры, то мы можем выяснить, какие именно параметры лучше всего подходят нашей рассылке.
Вовлечение персонала через e-mail рассылки: A/B тест. Часть 3

  1. Вовлечение персонала через e-mail рассылки: A/B тест - в первой части я делил группы по имени отправителя. 
  2. Вовлечение персонала через e-mail рассылки: A/B тест. Часть 2 - во второй части каждая группа получала рассылку с разным название, одно название "просто" "рассылка сайта HRM", а другая содержала в себе название тем рассылки 

Вовлечение персонала через e-mail рассылки: A/B тест. Часть 3

В третьей части я дал группам разные названия, и оба названия рассылки содержали в себе названия тем рассылки, но темы были разные для каждого названия. Гипотеза была проста - проверить, чаще ли получали подписки переходят по ссылкам тем, указанных в названии рассылки или нет. На прошлой неделе вышло две такие рассылки

8 августа


Доставлено

Открыто

Переходов

Переходов уникалов

Отписалось
Сервис борьбы со стрессом, компьютер оценил менеджеров Силиконовой Долины, отпускные 2017
5042
303
98
50
 3
Как роботы ищут персонал, востребованные профессии Мск, чиновники учатся предотвращать секс домогательства
5040
259
77
45
 7
В крайней левой колонке название рассылки, и каждое название состоит из трех тем, и темы не совпадают.
Даже визуально связь не проглядывается, количество открытых писем в первой случае больше, но значимость Хи квадрат 0.07867, поэтому разницы нет. Но мы гипотезу строили не про общую статистику рассылки, а про конкретные темы, поэтому давайте посмотрим на эту статистику.



первая
вторая
Онлайн-сервис по борьбе со стрессом Welltory привлек $1 млн
18
6
Суперкомпьютер IBM назвал самого осторожного и самого неосторожного руководителя Кремниевой долины
6
3
Отпускные – 2017: правила оформления без ошибок. Как оформить ежегодный основной оплачиваемый отпуск, чтобы соблюсти нормы трудового законодательства и избежать штрафов ГИТ?
5
2
Рекрутер с железной хваткой: как роботы ищут и нанимают людей
8
20
Самые востребованные профессии в Москве
9
16
Чиновники учатся предотвращать сексуальные домогательства на рабочем месте
3
5
В этой таблице цветом обозначены темы рассылок (желтым темы в названии первой рассылки, зеленым- темы в названии второй рассылки). При этом напомню: в названии рассылок темы были указаны разные, но само содержание письма было идентично. Т.е. тема про он лайн сервис была в обоих письмах, в названии была отражена только для одной из групп получателей. 
И в колонках - переходы по ссылкам. Т.е в первой группе по ссылке Онлайн-сервис по борьбе со стрессом Welltory привлек $1 млн перешли 18 раз, во второй группе - 6 раз. И в первой группе эта тема была в названии. Можно ли сказать, что в первой рассылке по ссылкам, указанным в названии, ходили значимо чаще? Ответ - да, p-value = 0.03408. Но значимость слабая. (я суммировал переходы по ссылкам и считал относительно числа открытых писем) 
Тот же самый показатель для второй рассылки -p-value = 0.002684. Показатель значительно лучше. 
Т.е. мы делаем вывод - да, вынесение названия темы в название рассылки значимо повышает количество переходов по ней. Хотя разные значимости говорят, что темы бывают разными. 

10 августа

Для валидации сделал тоже самое в рассылке 10 августа. Сразу к результатам.

Доставлено


Открыто

Переходов

Переходов уникалов

Отписалось
Ошибки в соцсетях с т.з. карьеры, Греф сокращает Сбер, странные вакансии
5033
365
329
141
2
Лучшие HR-практики Росатома, россияне оценили свою жизнь, заверяем копии трудовых по новому
5016
291
167
65
7
Заметно преимущество первой рассылки - "угадал" с названием.
В первом случае открывали значимо чаще - p-value = 0.006585.
Количество переходов было еще значимей - p-value = 2.233e-12.
И переходы уникалов p-value = 2.64e-07.
Мимоходом замечу, что в первой рассылке было больше тех, кто делал два и более перехода, а значит "угадал" не с одной темой, а с несколькими.

первая
вторая
10 промахов в соцсетях, которые точно испортят вашу карьеру
77
27
Греф анонсировал массовые сокращения в Сбербанке
63
16
Антиголубь, Саурон, русалка: странные вакансии и соискатели
23
10
Разработка УЭХК вошла в ТОП-3 лучших HR-практик Росатома
6
11
Россияне оценили свою жизнь в 5,7 млн рублей
7
3
Заверяем копии трудовых по-новому
35
22

Результат забавный!
Для первой группы Хи квадрат p-value = 3.582e-07 просто невероятное превосходство, а для второй рассылки Хи квадрат не значим.
Отсюда напрашивается еще одна гипотеза: не старайтесь в названии протолкнуть всякое говно, которое вы хотите, чтобы подписчики скушали. Более выгодной может оказаться стратегия, когда вы в названии дадите конфетку, а говно будет просто в топе.
Но это тоже надо проверить, чем я дальше и займусь.
И еще напрашивается более глобальное исследование:) Постараюсь сделать хоть набросок в этом году.
Можете обращаться ко мне за консультациями (edvb()yandex.ru) по применению данного метода, экспериментируйте сами.

Понравился пост? 

и Вы захотите выразить мне благодарность, просто покликайте на директ рекламу ниже на странице - у вас это отнимет несколько секунд, а мне принесет немного денег.
На этом все, читайте нас в фейсбуке 

Комментариев нет:

Отправить комментарий