Оценка эффективности обучения или история одного эксперимента

Замысел эксперимента родился у меня в начале этого года. Я обратил внимание, что коллеги слабо реагируют на картинки такого типа

Вместе с тем, это базовый тип диаграммы, который представляет азы анализа. И вот меня воодушевил благородный порыв, и я решил раскрыть HR тайну диаграмму boxplot. По науке.

Если вам задачка кажется не актуальной, прочтите этот пост как шаблон любой другой задачи, куда вы можете подставить свои данные. Я бы еще добавил, что один из самых важных навыков аналитика - уметь увидеть задачу. 

Идея

Идея простая: в момент времени T мы замеряем уровень умения читать диаграмму boxplot, после чего я начинаю активно рассказывать рынку про то, как читать эту самую диаграмму.

В момент времени T+1 я снова измеряю уровень умения читать диаграмму boxplot. 

Временной лаг:

• момент T - февраль 2018 года;
• T+1 - начало июня 2018 года.
• Площадка - телеграм канал HR аналитики. 

Результаты

Срез T

всего 117 респондентов:

• из них 37 указали, что умеют читать boxplot, 
• и 80, что не умеют 
• % умеющих читать boxplot составил 31, 6 %

Срез T+1

проголосовало 143 респондентов:

• 49 указали, что умеют читать boxplot, 
• и 94, что не умеют.
• % умеющих читать boxplot составил 34, 3 %

Анализ

простой с использованием Хи квадрат

Pearson's Chi-squared test with Yates' continuity correction
data:  r
X-squared = 0.10109, df = 1, p-value = 0.7505

Доверительный интервал в две ошибки около 8 %

Выводы:

Результаты практически идентичны. Изменение в "лучшую" сторону 2, 7 %. 

До значимых различий как до Луны, поэтому констатируем, что эффект от моих действий не обнаружен. 

Можно сослаться на то, что на момент T в телеграм канале было 900 участников, а на момент T+1 - 2 100. 

Какие у вас гипотезы на тему, почему эффект от обучения был достигнут?

__________________________________________________________

На этом все, читайте нас в фейсбуке, телеграмме и вконтакте