Какая выборка достаточна для исследований

В предыдущем посте Контроль рабочего времени и удержаниеперсонала мы получили следующий результат.

Есть значимые различия в стаже между теми, кто имел свободный график и работниками с жестким контролем рабочего времени.

Т.е. те, кто имеют свободный график, работают дольше. Классно?

Не совсем. Коллега обратил внимание, что у нас количество респондентов HR, имеющих свободный график работы, всего 36. И сказал, что выборка из 36 человек недостаточна для того, чтобы делать вывод. Этот аргумент часто приводят против моих исследований.

И я решил сделать пост, который бы разъяснял, сколько респондентов достаточно для принятия решения.

 Какая выборка достаточна для исследований

Помните исследования Геллапа во время выборов президента США в 30-е годы? Они провели опрос нескольких сотен респондентов. Представьте, сколько выборщиков могло быть в США в то время? Допустим 30 миллионов. 1 % от 30 миллионов – 30 000. Т.е. выборка Гэлаппа составляла в лучшем случае десятые доли % от генеральной совокупности. И тем не менее прогноз был точен.

Что мы, как исследователи, должны сделать, чтобы сделать корректный вывод.

Генеральная и выборочные совокупности

Мы должны представлять себе параметры генеральной совокупности HR. А именно:

• какое количество HR-ов всего на территории, входящей в исследование;
• каковы показатели этой выборки: территории, отрасли, возраст, пол и т.п..
• какое количество имеет свободный график работы, какое количество жесткий контроль времени;
• поскольку эти величины в принципе не бывают доступны, то нам можно знать хотя бы как свободный график связан с другими факторами: отрасль, территория и т.п.. И зная уже уже общую совокупность HR, мы можем перевзвешивать выборку.

Все это нас приводит к понятию однородности или гомогенности выборки исследований. Поскольку чаще всего параметры генеральной совокупности не ясны (в отличие от случае Гэллапа, где генеральная совокупность была известна до одного человека), то однородность выборки обеспечивается процедурами отбора респондентов. Процедуры направлены на случайный отбор. Ну т.е. если вы захотите узнать % состав национальностей, то придя на рынок, вы можете получить не корректные результаты.

В нашем случае требование рандомизации выборки – случайного отбора респондентов не соблюдается изначально. И не может соблюдаться, поскольку у нас он лайн опрос, в котором участвуют только добровольцы. Поэтому наша выборка изначально не гомогенна. И можете дальше не читать, если вас расстроил такой факт.

Но вот в этом месте я бы хотел показать, при чем здесь количество респондентов.

Репрезентативность выборки

Нашел эту картинку в интернете. Маленький холмик означает выборку респондентов, а большой – генеральную совокупность. И если мы уверены, что наша выборка однородна, наша задача сводится к тому, чтобы определить, насколько параметры выборочной совокупности совпадают с параметрами генеральной совокупности.

В случае этой картинки, задача исследователя состоит в оценке того, насколько среднее значение по выборке совпадает со средним значением по генеральной совокупности. В качестве примера: спросить рост первых 200 прохожих на тверской улице в Москве и по этим данным оценить, насколько среднее значение роста этих 200 прохожих совпадает со средним ростом по стране. Очевидно, что чем меньше выборка, тем больше вероятность отклонения среднего по выборке от среднего по генеральной совокупности, согласны? Т.е. если у нас есть дядя Степа, то он сильнее повлияет своим высоким ростом на выборке в 30 человек, чем в выборке в 200, поскольку в выборке 200 человек, больше человек усредняются.

В нашем случае есть две выборки: тех, кто имеет жесткий контроль времени – 550 человек и тех, кто имел свободный график – 36 человек. Поскольку у нас распределение стажа не носит нормальный характер, нам надо оценить медианы выборок (напомню, мы исходим из допущения, что у нас выборки однородны генеральной совокупности).

Статистики придумали хитрую штуку, которая называется бутстреп: эта штука позволяет оценить, в какие возможные значения может принимать медиана генеральной совокупности на основе данных выборки

Напомню, что значение медианы для выборки респондентов, которые имеют жесткий контроль времени, равно 21 месяц.

Выполняем бутстреп и получаем диаграмму всех возможных значений медианы.

Мы видим, что основная часть возможных значения приходится на 21-22, минимальное значение – 18 месяцев, максимальное – 25 (по оси Y – вероятность получения такой медианы, т.е.  вероятность того, что медиана генеральной совокупности будет равна 22 месяца равна 25 %).

Значение медианы для выборки респондентов, которые имеют свободный график, равно 26 месяцев.

Чувствуется разница?

20 % вероятность того, что медиана будет равна 26 месяцев, и разброс более широкий. Т.е. есть малюсенькая вероятность, что медиана будет равна 56 месяцев и 60 месяцев, а минимальное значение – 17 месяцев.

Сосем хреново, правда? И результаты исследования нужно отменять? Давайте не торопиться. Предлагаю наложить два графика друг на друга

Красная линия – это вероятностные значения медианы стажа людей со свободным графиком работы, а голубая вероятностные значения медианы стажа людей с жестким контролем рабочего времени.

А общая площадь – сразу под голубым и красным – вероятность того, что медианы не отличаются между группами. Согласитесь, что вероятность не очень высока. И эта вероятность считается статистически не значимой.

Отсюда мы делаем вывод: да, мы имеем не очень хороший набор данных (36 респондентов) с т.з. того, чтобы точно определить медиану генеральной совокупности, но выборка достаточна для того, чтобы сделать выбор о значимости различий между стажем тех, кто работает в условиях жесткого контроля рабочего времени и тех, кто имеет свободный график.