Вовлечение персонала через e-mail рассылки: A/B тест. Часть 2

Это уже вторая часть, первую часть смотрите Вовлечение персонала через e-mail рассылки: A/B тест.
Вкратце суть простая: я предлагаю вам поэкспериментировать с корпоративной рассылкой с целью поднять вовлеченность персонала. Но поскольку уговорить вас провести такой эксперимент тяжело, признаюсь, я не умею продавать свои услуги, то мне проще сделать такой эксперимент на своих данных.
Я веду рассылку сайта HRM. У меня есть статистика доставленных писем, количеств открытых писем, количества переходов.
Суть метода A/B test проста (подробнее здесь): если мы разобьем всех получателей рассылки на две группы, причем разобьем случайным образом, и для каждой группы зададим какие то свои, определенные параметры, то мы можем выяснить, какие именно параметры лучше всего подходят нашей рассылке.

В первом выпуске я задавал разные параметры в имени отправителя рассылки: для одной группы отправителем был "HRM" во втором выпуске  - "Бабушкин Эдуард".
На этой неделе я игрался с названием рассылки.
Без болтовни к

Результатам
1 августа

Вышла рассылка с идентичным содержанием, но разными названиями для групп (отправитель для обоих групп был HRM):

1. рассылка сайта HRM
2. Рейтинг ВУЗов, откровенно о зарплате, дискриминация в подборе и утро понедельника

Во второй рассылке перечислялись темы статей. И гипотеза, как вы легко можете догадаться была простой: а стоит ли напрягаться и прописывать так название?

Статистика

	Доставлено	Открыто	Переходов	Переходов уникалов	Отписалось
рассылка сайта HRM	5042	338	96	56	14
Рейтинг ВУЗов, откровенно о зарплате, дискриминация в подборе и утро понедельника	5038	313	158	93	19

Сразу бросается в глаза результат: в первом случае больше открытий, но меньше переходов!
Что говорят статистические критерии (если хотите понимать, про что я ниже пишу и сами уметь считать, то вам сюда Семинар - практикум "Аналитика для HR", 19-20 октября 2017 г., г Москва):

• Хи квадрат для соотношения доставленных и открытых писем p-value = 0.3684, и мы больше не смущаемся большему числу открытых писем.
• Хи квадрат для соотношения доставленных писем и переходов p-value = 0.0001538. И это совсем неплохо. 
• Для переходов уникалов (отличие от предыдущего в том, что в просто переходах один и тот человек может сделать два и более переходов по ссылкам, а переход уникал - этот один человек, сколько бы переходов он не сделал) - p-value = 0.003375
• И для отписантов Хи квадрат равен p-value = 0.4859. И славбох.

Интерпретация результатов: на количество открытий разные названия не влияют, не влияют на количество отписавшихся, но в случае названия, где указаны темы выпуска, количество переходов выше, причем преимущество особенно возрастает в том, что в группе в названием тем выпуска получатели чаще делают по два и более перехода.
Проверим на выпуске

3 августа

Названия рассылок

1. рассылка сайта HRM
2. Проверка на стресс в банке, что нужно знать об управлении персоналом в 2017, как не исчезнуть с рынка труда

Статистика

	Доставлено	Открыто	Переходов	Переходов уникалов	Отписалось
рассылка сайта HRM	5012	272	95	44	7
Рейтинг ВУЗов, откровенно о зарплате, дискриминация в подборе и утро понедельника	5011	276	149	73	7

Тут есть одна небольшая засада: рассылки читают не сразу в первый день выпуска, поэтому у рассылки 3 августа в целом показатели чуть хуже, просто потому, что у меньшего количества руки дошли. Я нетерпеливый, ждать не могу. тем более, что последующие изменения не сильно влияют на картину в целом. Ну и статистические критерии говорят:

• Сравнение доли открытых и доставленных не имеет смысла: различия незначимы очевидно, p-value = 0.9007;
• Сразу тоже скажу для количества отписавшихся;
• Хи квадрат доли доставленных и переходов - p-value = 0.000801 - примерно в пять раз хуже, чем в первом случае, но нас, согласитесь, устроит. 
• И для переходов уникалов - p-value = 0.01006 - и это не есть здорово.

Тем не менее, мы говорим, что в целом подтверждается гипотеза о том, что рассылка с тематическим названием дает большее количество переходов, особенно переходов два и более клика от одного пользователя.
Таким образом, можно твердо сказать: не стесняйтесь делать тематические названия рассылки.
Вам кажется вывод банальным? Ну может и так, хотя я не согласен и считаю, что вот такие "банальности" и должны всегда подтверждаться, и я могу совершенно четко количественно оценить выигрыш.
И да, это не последний мой пост по данной тематике, я продолжу эксперимент:) Гото от вас услышать гипотезы, с чем можно поэкпериментировать.
Можете обращаться ко мне за консультациями (edvb()yandex.ru) по применению данного метода, экспериментируйте сами.

Понравился пост? 

и Вы захотите выразить мне благодарность, просто покликайте на директ рекламу ниже на странице - у вас это отнимет несколько секунд, а мне принесет немного денег.
На этом все, читайте нас в фейсбуке