Share |

вторник, 20 декабря 2016 г.

Как аналитика может помочь в оценке эффективности мастер-класса?


Все расчеты и визуализация сделаны в R.

Идея эксперимента состояла в том, чтобы проверить насколько эффективным является мастер-класс по развитию навыка Скорочтение.

Данный мастер-класс выбран по той простой причине, что мы можем очень легко получить точные замеры по скорости чтения «до» мастер-класса и «после» его прохождения.

Коротко обо всех этапа эксперимента

Мастер-класс по развитию навыка Скорочтение длится 2 часа. За это время участники знакомятся с основными идеями скорочтения, а также выполняют два упражнения. Одно упражнение на развитие скорости чтения. Второе ─ на развитие навыка понимания прочитанного.

Очень важно, что в самом начале мастер-класса делается замер скорости чтения (т.е. слов в минуту) каждого участника.

После этого участникам выдается форма Отчет о прогрессе, с которой им предстоит работать следующий месяц.



Идеальная ситуация, когда упражнения выполняются 6 дней в неделю. Для этого необходимо ровно 30 минут в день. Итого: 6 х 4 = 24 занятия за месяц.
После месяца работы над развитием навыка Скорочтение, участники заполнили новые анкеты, где они отметили, сколько дней занимались, а также сделан замер скорости чтения после месяца занятий.

Итак, что мы можем посмотреть для начала?

Давайте визуализируем наши данные, которые мы собрали из анкет «до» мастер-класса.

Пол

Боксплот, который показывает переменную скорость чтения, в зависимости от пола (женщина/мужчина).


Тот же показатель, только на диаграмме плотности. Мы видим кривую по женщинам и мужчинам.



Давайте проверим нашу первую гипотезу, например, о том, что женщины читают быстрее, чем мужчины.

Расчет t-критерия Стьюдента показала следующие результаты:

t = 0.55124 и p-value = 0.2919.

Т.е. мы не можем отклонить нулевую гипотезу, а соответственно статистически значимой разницы между скоростью чтения женщин и мужчин нет.

Взаимосвязи

В анкетах, которые участники заполняли «до» мастер-класса, есть информация о количестве прочитанных книг за этот год (за 10 месяцев этого года). Эта информация может нам помочь ответить на вопрос: Читает ли больше книг, тот, кто читает быстрее? Давайте для начала построим диаграмму рассеивания, где по Х – будет отражена скорость чтения (слов в минуту), а по Y – количество прочитанных книг за этот год. А также добавим линию тренда.



Мы видим положительную взаимосвязь. Т.е. при увеличении скорости чтения, увеличивается количество прочитанных книг.

Давайте теперь рассчитаем коэффициент корреляции.

Пирсон: t = 2.7073, p-value = 0.009157, cor = 0.3514813

Спирмен: S = 16326, p-value = 0.004868, rho = 0.3776915

Т.е. мы можем сделать вывод о наличии небольшой положительной корреляции на уровне 0,35-0,38. Данный показатель корреляции статистически значим (p-value < 0), что показали различные тестs (Пирсон, Спирмен).

Теперь давайте построим простую регрессионную модель с одним предиктором. Где количество прочитанных книг это зависимая переменная, а скорость чтения будет предиктором.



На рисунке мы можем видеть формулу, которая описывает нашу модель. Из нашей модели видно, что скорость чтения, слабенький предиктор (R2 = 0.124) для количества прочитанных книг. Для улучшения модели можно было бы добавить и другие предикторы, но это уже выходит за рамки данного эксперимента.

Данные «после» мастер-класса

Прошел месяц, и участники заполнили анкету о том, как они занимались весь месяц, а также сделали замер своей скорости чтения за 1 (одну) минуту.

Теперь мы можем ответить на главный вопрос данного исследования: Изменилась ли скорость чтения наших участников мастер-класса после его прохождения?

Для такого сравнения мы будем использовать парный t-тест. Важно отметить, что в данном расчете участвуют данные только по тем участникам, которые занимались по методике хотя бы 6 дней.

Критерий Стьюдента: t = -3.3827, p-value = 0.009603

Критерий Вилкоксона: Z = -3.4776, p-value = 0.0005059

Т.е. мы можем сделать вывод о том, что замеры скорости чтения у одних и тех же участников, «до» мастер-класса и «после» обучения по методике, значимо отличаются. Данный вывод хорошо виден и на графике боксплот.
Другими словами, мы можем сделать вывод о том, что мастер-класс действительно помогает увеличить скорость чтения его участников.

5 комментариев:

  1. Евгений, я бы вам порекомендовал проверить распределение переменной "Скорость чтения" на нормальность распределения
    по графикам видны выбросы вправо - ну т.е. есть группа людей, которые читают очень быстро. Это выбросы.
    Вы изучали, как выбросы влияют на результаты регрессии?

    в вашем случае по ощущениям выбросы не должны сильно искажать результаты, но проверьте на всякий случай

    ОтветитьУдалить
    Ответы
    1. Коллеги, проверка на нормальность, конечно же, была проведена.
      1) Я всегда строю графики: гистограмму и Q-Q Plot. Жаль, что здесь в комментариях нельзя выложить.
      2) Также формальные тесты. Здесь был тест Шапиро-Уилка до удаления выбросов р=0.09 после удаления выбросов p=0.378.
      Также часто применяю критерий Лиллифорса. По моим наблюдениям - это один из самых жестких тестов на нормальность. В данном случае р=0.196

      Удалить
    2. Евгений, я Вам рекомендую подумать над проведением вебинара у нас на портале по теме поста.
      Конечно, не только про аналитику, но про сам семинар, цели, может быть немного про контент

      если надумайте, присылайте анонс)

      Удалить
    3. Эдуард, хорошая идея! С соберу все факты и мысли вместе и тогда можно!

      Удалить
  2. Присоединяюсь к вопросу Эдуарда о нормальности распределения, поскольку меня самого этот аспект исследований очень занимает, хотел бы дополнить - в случае проверки, какими инструментами осуществоялась и почему именно ими? В остальном хочется только поаплодировать.

    ОтветитьУдалить

рек

Популярные сообщения