Как я оценивал эффективность дистанционного обучения

Пост из серии пятничных постов в телеграм канале, оригинал здесь>>, см. также посты этой серии:

1. Как я выстраивал систему отбора и адаптации персонала в банке
2. Как я измерял морально-психологический климат в банке
3. Про лидеров и "лидеров" России. Про конкуренцию / развитие в HR

Как я оценивал эффективность дистанционного обучения и спасал ковры. Пятнично-конструктивное.

История полностью вымышленная, и всякое совпадение с тем, что было на самом деле, считать случайностью.
Обычное понедельничное утро не предвещало ничего хорошего, но случилось ЧП: еще не пробило 9 утра, а нам в отдел позвонил один из топов Банка и пригласил меня к себе. Я на полусогнутых вошел в кабинет, где получил вопрос, который ожидал меньше всего:
- Можете ли Вы оценить эффективность дистанционного обучения?
Надо здесь пояснить, что я незадолго до этого внедрил систему дистанционных профессиональных банковских тестов и курсов в Банке. Но вышеупомянутый вопрос мог иметь сам по себе кучу контекстов, а этот же вопрос, заданный в 8.45 утра понедельника, имел кучу контекстов в кубе. Я думал о подвохе, но максимально уверенно постарался выдать ответ «Да».
Итак, я получил задачу. А подвох обнаружился позднее, когда я вернулся в отдел и узнал от тренеров, которые обычно раньше 10 не подтягивались на работу. В те выходные Банк проводил корпоративное обучение работников в подмосковном пансионате. Со всех филиалов на обучение были вызваны лучшие работники. И в ночь с субботы на воскресенье студенты, устроив корпоративную пьянку, сожгли ковер в пансионате (и случай этот был не первым, только раньше просто ломали, а теперь уже сожгли). Собственник пансионата был не просто клиентом Банка, но чуть ли не родственником собственника нашего Банка, поэтому нашим было стыдно.
И вот вызвавший меня топ задумался над вопросом «Доколе?». И вопрос вылился в ответ: есть же дистанционное обучение.

Дальше

Те работники, что не жгли ковер, прошли обучение дистанционно. И еще спустя примерно недели две все работники прошли дистанционный тест по пройденному курсу. ВСЕ: и те, кто жег ковер (очно), и те, кто завидовал им, сидя дома (дистанционно).
И получилась вот такая картина

• По оси X - % правильных ответов по тесту
• Ось Y – доля студентов, набравших определенный бал по тесту. 

И этот результат был очень плохим: очевидно, что в среднем очники (те, кто были в пансионате) набирали по тесту больше балов (80 и выше %), в то время как заочники набирали в районе 60 % правильных ответов в среднем.
Плохо это потому, что очевидное решение из данного результата: очники показали более высокие результаты, и с потерей ковров нужно смириться. Но нет ничего страшней очевидных решений.

Засада

Очень жаль, что мы с вами не интерактивном режиме общаемся, потому что в этот момент я бы задал вопрос аудитории: в чем может быть подвох данного результата?
Да, вы все правильно подумали: кто сказал, что этот результат определялся формой обучения? Ведь, как уже было сказано, да и понятно, что в Москву на обучение отправляют лучших, поскольку это не только обучение, но и форма мотивации лучших. И поджог ковра — это же реализация права лучшего.
Так вот, на докладе у топа я предложил провести эксперимент. Мы запускали новый продукт, провели обучение (теперь уже для всех работников дистанционное), а спустя время провели тест по этому продукту. Результаты были почти идентичные тому, что на диаграмме: лучшие – те, что были в пансионате, опять показали высокие результаты, а остальные показали на своем уровне. Этот аргумент был воспринят в пользу дистанционного обучения.
Никакой глубокой математики за этим не стояло, но Топ-менеджер Банка проникся ко мне уважением, это чувствовалось.
Добавлю еще, что данный пост не совсем похож по логике и математике на пост Анализ полезности обучения, но похож по духу.
Хотите решать такие задачи легко и непринужденно? Он-лайн курс "Введение в R для HR"
Если у Вас есть подобные истории по аналитике или хотите обсудить кейс – пишите!