Кейс по оценке эффективности обучения (половинчатый и бестолковый как большая часть практических кейсов)

Для внутренних T&D кейс может показаться не под их задачи, хотя, уверен, что во внутреннем T&D есть большой кластер задач, который имеет аналогичное решение. Когда я был HR, я постоянно сталкивался с подобными задачами. Почему половинчатый и бестолковый - позже.

Кейс

Сегодня проводили вебинар Алексея Королькова Автоматизация деятельности корпоративного учебного центра с помощью системы WebTutor. Анонс вебинара был размещен загодя, еще в декабре. На вебинар зарегистрировалось 146 человек, пришло 68 из записавшихся. 

Отсюда следует задача: что можно сделать, чтобы приходило больше?

Одна из гипотез (даже скорее области проблемных вопросов): на посещаемость вебинара влияет промежуток времени, за который до начала вебинара зарегистрировался участник (ибо те, кто зарегистрировался заранее, уже остывают и теряют актуальность). И зная некую критическую дату, давать рекламу вебинара, которое обеспечит, во - первых, максимальный приток участников, во -вторых, максимальную конверсию. 

Реальная бизнес задача? Ок.

Решение

Для анализа у нас есть данные, представленные в приложении. Мы знаем очередность регистрации участников и факт участия / не участия в вебинаре (ну просто такая статистика, другой нет). В данном случае любой начинающий аналитик (здесь незамысловая реклама своего семинара Аналитика для HR - присоединяйтесь, если вы хотите научиться решать такие задачки) применяет "наш любимый критерий Манн Уитни" и получает p-value < 0, 000....

Это первая и последняя радость в исследовании.

Мы показали, что есть значимые различия в порядке регистрации между теми, кто участвовал в вебинаре, и теми, кто не участвовал. И, скорее всего, это значит, что дата регистрации влияет на выбор регистранта принять участие или нет. 

Половинчатый и бестолковый кейс потому, что это знание нам мало что дает. Мы знаем, что чем ближе регистрация к дате самого вебинара, тем вероятность участия в вебинаре выше (люди, далекие от аналитики, скажут: "ну это же очевидно! чё вы нам тут ерунду втюхиваете, которая и так понятна"), но мы не можем этим управлять: мы не можем сказать, в какой момент регистрации участие в вебинаре становится значимым. 

В этой ситуации у нас два пути:

• заводить N вебинаров с разными датами начала регистрации и проведения, причем с одинаковыми промежутками времени должно быть несколько вебинаров (уже сама по себе интересная задача для анализа: сколько вебинаров нужно провести, чтобы ответить на вопрос о критичной дате вывешивания анонса. И она решается не так тривиально, поскольку мы оцениваем как минимум два параметра: конверсию участников (% участников от числа регистрантов) и само максимальное число регистрантов, которое также является производной количества дней. Т.е. первую задачу мы бы просто решили с помощью логистической регрессии, выявив вес фактора "число дней между регистрацией и проведением вебинара", но вторая выводит нас на задачу оптимизации двух параметров. Красивая задачка, правда?
• завести сбор информации о дате регистрации. Тогда мы получаем более гибкий инструмент анализа.

Половинчатый пост потому, что чаще всего у нас нет ресурса для сбора данных о дате регистрации. Наш айтишник скажет, что это невозможно (реже, что некогда, или начальник скажет, что это не в приоритете, и т.п..). И вы никогда не докажете, что может быть один потенциальный участник вебинара, который мог прийти, но не пришел, и потому он не купил ваш продукт, а стоимость покупки продукта значительно превышает работу программиста по доработке. 

Знакома вам такая ситуация?

Приложение. Таблица регистрации участников на вебинар 

Левая колонка - участвовал в вебинаре или нет, правая - каким по счету зарегистрировался (т.е. чем больше номер, тем ближе к дате вебинара). 

Участвовал (1 -да, 0 -нет)	Каким по счету зарегистрировался
0	1
0	2
0	3
0	4
0	5
0	6
0	7
0	8
0	9
0	10
0	11
1	12
1	13
0	14
1	15
1	16
0	17
0	18
0	19
1	20
0	21
0	22
0	23
1	24
0	25
0	26
1	27
0	28
0	29
0	30
1	31
1	32
0	33
1	34
1	35
0	36
0	37
0	38
0	39
0	40
1	41
1	42
0	43
1	44
1	45
0	46
0	47
1	48
1	49
0	50
0	51
1	52
0	53
0	54
0	55
1	56
1	57
0	58
0	59
1	60
1	61
0	62
0	63
0	64
1	65
0	66
0	67
1	68
1	69
0	70
1	71
0	72
1	73
1	74
1	75
1	76
1	77
1	78
0	79
0	80
0	81
1	82
1	83
0	84
1	85
1	86
0	87
1	88
1	89
0	90
0	91
1	92
1	93
1	94
1	95
1	96
0	97
1	98
1	99
0	100
1	101
1	102
0	103
1	104
1	105
1	106
0	107
1	108
1	109
1	110
1	111
1	112
1	113
0	114
1	115
0	116
1	117
1	118
1	119
0	120
0	121
0	122
1	123
0	124
0	125
0	126
0	127
1	128
1	129
0	130
0	131
1	132
1	133
1	134
1	135
1	136
1	137
1	138
1	139
1	140
1	141
1	142
1	143
1	144
1	145