.

Сделать репост в соц сети!

вторник, 18 февраля 2014 г.

Кейс по оценке эффективности обучения (половинчатый и бестолковый как большая часть практических кейсов)

Для внутренних T&D кейс может показаться не под их задачи, хотя, уверен, что во внутреннем T&D есть большой кластер задач, который имеет аналогичное решение. Когда я был HR, я постоянно сталкивался с подобными задачами. Почему половинчатый и бестолковый - позже.

Кейс

Сегодня проводили вебинар Алексея Королькова Автоматизация деятельности корпоративного учебного центра с помощью системы WebTutor. Анонс вебинара был размещен загодя, еще в декабре. На вебинар зарегистрировалось 146 человек, пришло 68 из записавшихся. 
Отсюда следует задача: что можно сделать, чтобы приходило больше?
Одна из гипотез (даже скорее области проблемных вопросов): на посещаемость вебинара влияет промежуток времени, за который до начала вебинара зарегистрировался участник (ибо те, кто зарегистрировался заранее, уже остывают и теряют актуальность). И зная некую критическую дату, давать рекламу вебинара, которое обеспечит, во - первых, максимальный приток участников, во -вторых, максимальную конверсию. 
Реальная бизнес задача? Ок.

Решение

Для анализа у нас есть данные, представленные в приложении. Мы знаем очередность регистрации участников и факт участия / не участия в вебинаре (ну просто такая статистика, другой нет). В данном случае любой начинающий аналитик (здесь незамысловая реклама своего семинара Аналитика для HR - присоединяйтесь, если вы хотите научиться решать такие задачки) применяет "наш любимый критерий Манн Уитни" и получает p-value < 0, 000....
Это первая и последняя радость в исследовании.
Мы показали, что есть значимые различия в порядке регистрации между теми, кто участвовал в вебинаре, и теми, кто не участвовал. И, скорее всего, это значит, что дата регистрации влияет на выбор регистранта принять участие или нет. 
Половинчатый и бестолковый кейс потому, что это знание нам мало что дает. Мы знаем, что чем ближе регистрация к дате самого вебинара, тем вероятность участия в вебинаре выше (люди, далекие от аналитики, скажут: "ну это же очевидно! чё вы нам тут ерунду втюхиваете, которая и так понятна"), но мы не можем этим управлять: мы не можем сказать, в какой момент регистрации участие в вебинаре становится значимым. 
В этой ситуации у нас два пути:
  • заводить N вебинаров с разными датами начала регистрации и проведения, причем с одинаковыми промежутками времени должно быть несколько вебинаров (уже сама по себе интересная задача для анализа: сколько вебинаров нужно провести, чтобы ответить на вопрос о критичной дате вывешивания анонса. И она решается не так тривиально, поскольку мы оцениваем как минимум два параметра: конверсию участников (% участников от числа регистрантов) и само максимальное число регистрантов, которое также является производной количества дней. Т.е. первую задачу мы бы просто решили с помощью логистической регрессии, выявив вес фактора "число дней между регистрацией и проведением вебинара", но вторая выводит нас на задачу оптимизации двух параметров. Красивая задачка, правда?
  • завести сбор информации о дате регистрации. Тогда мы получаем более гибкий инструмент анализа.
Половинчатый пост потому, что чаще всего у нас нет ресурса для сбора данных о дате регистрации. Наш айтишник скажет, что это невозможно (реже, что некогда, или начальник скажет, что это не в приоритете, и т.п..). И вы никогда не докажете, что может быть один потенциальный участник вебинара, который мог прийти, но не пришел, и потому он не купил ваш продукт, а стоимость покупки продукта значительно превышает работу программиста по доработке. 
Знакома вам такая ситуация?

Приложение. Таблица регистрации участников на вебинар 

Левая колонка - участвовал в вебинаре или нет, правая - каким по счету зарегистрировался (т.е. чем больше номер, тем ближе к дате вебинара). 
Участвовал (1 -да, 0 -нет)
Каким по счету зарегистрировался
0
1
0
2
0
3
0
4
0
5
0
6
0
7
0
8
0
9
0
10
0
11
1
12
1
13
0
14
1
15
1
16
0
17
0
18
0
19
1
20
0
21
0
22
0
23
1
24
0
25
0
26
1
27
0
28
0
29
0
30
1
31
1
32
0
33
1
34
1
35
0
36
0
37
0
38
0
39
0
40
1
41
1
42
0
43
1
44
1
45
0
46
0
47
1
48
1
49
0
50
0
51
1
52
0
53
0
54
0
55
1
56
1
57
0
58
0
59
1
60
1
61
0
62
0
63
0
64
1
65
0
66
0
67
1
68
1
69
0
70
1
71
0
72
1
73
1
74
1
75
1
76
1
77
1
78
0
79
0
80
0
81
1
82
1
83
0
84
1
85
1
86
0
87
1
88
1
89
0
90
0
91
1
92
1
93
1
94
1
95
1
96
0
97
1
98
1
99
0
100
1
101
1
102
0
103
1
104
1
105
1
106
0
107
1
108
1
109
1
110
1
111
1
112
1
113
0
114
1
115
0
116
1
117
1
118
1
119
0
120
0
121
0
122
1
123
0
124
0
125
0
126
0
127
1
128
1
129
0
130
0
131
1
132
1
133
1
134
1
135
1
136
1
137
1
138
1
139
1
140
1
141
1
142
1
143
1
144
1
145

2 комментария:

  1. Эдуард, а почему такие сложности?
    Я не знаю, как устроен бэк-офис системы web-tutor, но полагаю, при регистрации должны заноситься в базу данных сведения о регистрации, в т.ч. и дата/время регистрации на вебинар.
    Что касается "явки", то, во-первых, надо закладывать, что вебинар в силу применяемых технологий (дистанционный доступ, требования к качеству соединения) не одно и то же, что "живой" семинар, поэтому кто-то может зарегистрироваться "про запас", в расчёте на возможное участие, но столь же вольно пропустить (особенно, если есть возможность задним числом скачать запись вебинара и материалы к нему), либо просто не иметь технической возможности подключиться (чем дальше от Москвы, тем вероятнее) из-за проблем с электричеством или интернетом.
    Ну а насчёт того, каково упреждение регистрации и связь его с явкой - мне кажется, тут вообще нет смысла искать зависимости. Всё просто (на мой взгляд :)) - если у человека есть некая проблема/задача, решение которой он хочет найти с помощью вебинара, то если он к моменту вебинара её не решит, то скорее всего, подключится. Если решит - может и пропустить. Тут, конечно, фактор времени влияние иметь может. Но если же речь не о разовой проблеме/задаче, а о системном интересе к тематике, то зарегистрировавшийся скорее придёт, чем нет. Главное, чтобы ему напоминание о вебинаре вовремя пришло. А уж как технически напоминание сделать - вопрос вторичный.

    "Я так думаю!" (с)


    С уважением,
    Б.Зверев

    ОтветитьУдалить
    Ответы
    1. Борис, из всего вашего текста по теме - "тут вообще нет смысла искать зависимости"
      Здесь я с Вами не соглашусь. Все не так просто, как вы пишите
      "Всё просто (на мой взгляд :)) - если у человека есть некая проблема/задача, решение которой он хочет найти с помощью вебинара, то если он к моменту вебинара её не решит, то скорее всего, подключится. "
      Не буду вдаваться в подробности, но ваш подход равносилен подходу в продажах: если человеку нужен мерседес, он его купит. И действия сейлзов не нужны в вашей постановке вопроса.

      Удалить