Перевод статьи THE Secret Weapon for People Analytics: Quasi-Experiments

Автор: Jackson Roatch, People Analytics @ WEX | I/O Psychology | Talent Management | Employee Listening

Секретное оружие HR-аналитики: квази-эксперименты

Предисловие: эта статья служит учебником по квазиэкспериментам, которые, возможно, являются наиболее малоиспользуемым методом в HR-аналитике. Основное внимание будет уделено предоставлению ментального инструментария для квази-экспериментов: как думать о них, как определять возможности для их использования и как их успешно использовать.

В HR-аналитике важна причинно-следственная связь

У меня есть слабость к «интеллектуальному анализу данных»: использование любых и всех доступных данных для оптимизации точности прогнозирования для некоторой целевой переменной. Нет ничего лучше, чем вставить кучу данных в алгоритм, наблюдать за тем, как ваш компьютер издает «бррррр», и испытать на себе современную магию хороших прогнозов.

С другой стороны, чтобы проекты HR-аналитики были успешными, нам часто нужно уметь объяснять «почему». Наши проекты обычно направлены на то, чтобы повлиять на решения о том, как выполняются программы, политики и процессы, и для того, чтобы сделать эти вмешательства эффективными, нам необходимо понять «истинные отношения» между переменными. Это легче сказать, чем сделать. Например, если мы обнаружили корреляцию между X и Y, мы по-прежнему сталкиваемся со следующими препятствиями для вывода о причинно-следственной связи:

• Вмешивающиеся переменные: кажущаяся связь между X и Y на самом деле может быть вызвана присутствием какого-то внешнего фактора Z.
• Ложные корреляции: существует множество способов, которыми корреляция между X и Y может быть артефактом чего-то другого. Парадокс Симпсона — хороший пример корреляции, которая исчезает после учета другого фактора.
• Временной приоритет: чтобы X вызвал Y, изменения в X должны наблюдаться до того, как мы увидим изменения в Y.

Этот список не является исчерпывающим, и я настоятельно рекомендую ознакомиться с этой записью в блоге Эдуардо Валенсии Тирапу, если вы хотите глубже погрузиться в проблемы установления причинно-следственных связей.

Академические исследователи могут использовать рандомизированные эксперименты, чтобы обойти эти барьеры, но так называемые полевые эксперименты не всегда осуществимы в реальных организациях. Во многих случаях различное обращение с рандомизированной группой сотрудников может быть неэтичным или даже незаконным. Эффективность полевых экспериментов также может страдать от таких проблем, как текучесть объектов, «внешние события, такие как организационные изменения или утечка информации (сотрудники разговаривают друг с другом, поэтому контрольная группа может узнать о лечении).

Итак, можем ли мы просто отказаться от экспериментов и провести корреляционный анализ? Точно нет. Квази-эксперименты — наше секретное оружие.

Квазиэксперимент — это метод, который преследует ту же цель, что и настоящий эксперимент: установить причинно-следственную связь между двумя переменными. Разница в том, что квазиэксперименты являются инструментом выбора, когда случайное распределение людей по экспериментальным группам невозможно. Это особенно полезно в HR-аналитике по двум причинам. Во-первых, часто невозможно случайным образом распределить людей по разным условиям. Во-вторых, часто невозможно манипулировать переменными, которые мы хотим изучить, например, работать удаленно или проходить обучение. Например, мы можем использовать квазиэксперимент, чтобы понять влияние программы обучения на производительность труда. При этом мы можем удовлетворить бизнес-задачу по развертыванию обучения для всех соответствующих работников, при этом тщательно оценивая обучение. Эта способность сочетать гибкость с методологической строгостью делает квазиэксперименты таким ценным инструментом.

Выявление возможностей для использования квазиэкспериментов

Квази-эксперименты — это недостаточно используемый инструмент в HR-аналитике, что является значительной упущенной возможностью. Отчасти это может быть связано с ограниченным акцентом на квази-экспериментах в программах психологии ввода-вывода и бизнес-аналитики. Еще одна проблема с квазиэкспериментами — концептуальная доступность. Трудность заключается не в самих статистических методах, а в выявлении подходящих возможностей для эффективного использования этих методов. Эти методы являются искусством в той же степени, что и наукой, если сослаться на статью Адама Гранта по этому вопросу.

Вот несколько ключевых индикаторов, помогающих определить ситуации, в которых может быть полезен квазиэксперимент:

1. Будьте начеку: в текущих дискуссиях между лидерами, когда ведутся дебаты о причинах и следствиях конкретных решений или точек данных, участие в этих разговорах и определение правильных вопросов — это первый шаг к выявлению возможностей для создания идей.
2. Обратите внимание на крупные события или инициативы: реорганизация, увольнения или внедрение новых вмешательств, таких как тренинги, программы или процессы, могут служить потенциальными возможностями для квази-экспериментов. Я упомянул подобные события как потенциальные искажающие факторы, но они также дают возможность изучить последствия, потому что они часто влияют на одних работников больше, чем на других.
3. Остерегайтесь естественных экспериментов: когда в остальном похожие люди непреднамеренно оказываются в разных условиях, это называется естественным экспериментом. Их может быть сложно обнаружить, но они очень эффективны для причинно-следственных связей. В одном известном примере закон был принят в одном штате, но не в другом, что позволяет проводить сравнения между похожими людьми за пределами штатов. Эта ситуация является обычной в организациях, где разные отделы или подразделения могут подчинять одинаковых работников различным политикам или условиям работы, создавая вариации, которые можно использовать для создания квази-лечебных и контрольных групп.

Методы перехода к квазиэкспериментам

Как только вы нашли возможность использовать квазиэксперимент для ответа на исследовательский вопрос, вам необходимо определить подходящий квазиэкспериментальный план. Таких схем существует много, поэтому выбор действительно зависит от характера ситуации, доступности данных и возможных путаниц.

Вот несколько наиболее популярных квазиэкспериментальных методов и пояснения, почему я считаю их полезными:

1. Сопоставление (Matching) — один из самых основных методов, идея которого состоит в том, чтобы определить потенциальные смешанные переменные (часто демографические переменные) и сопоставить субъектов в «лечебной группе» с похожими субъектами, которые не подвергаются лечению, создавая контрольную группу. Алгоритмы сопоставления просты в использовании и очень хорошо работают, делая группы максимально похожими по выбранным вами характеристикам. Затем предполагается, что любое оставшееся различие в переменной результата связано с эффектом лечения.
2. Прерывистость (Discontinuity) — элегантный метод, который использует регрессию с изюминкой: в ситуациях, когда есть некоторая точка отсечки для лечения или вмешательства, план разрыва регрессии сравнивает наблюдения, которые находятся близко к обеим сторонам отсечки. В известном примере исследователи изучили разницу в доходах за всю жизнь между людьми, которые получили 3,5 года обучения в колледже, но не закончили его, и людьми, которые закончили 4 года и закончили учебу. Спойлер: люди, получившие высшее образование, в конечном итоге зарабатывают намного больше, несмотря на то, что они лишь немного более образованны. Это называется «эффект диплома».
3. Разница в различиях (Difference in differences - DID) — метод DID — это простой, но мощный метод, который позволяет вам сравнивать различия в результатах во времени между двумя группами: одной, которая получает лечение, и другой, не получающей лечения. Разница между этими двумя изменениями становится предполагаемым причинным эффектом лечения. Этот метод чрезвычайно полезен, когда вы знаете, что уже существует какой-то основной тренд. Например, если вы хотите изучить влияние новой программы ТА на время заполнения во времени, этот метод позволит вам скорректировать другие события, программы или внешние факторы, влияющие на тенденцию времени заполнения. 

Это ни в коем случае не исчерпывающий анализ квазиэкспериментальных методов, поэтому я настоятельно рекомендую вам провести дополнительные исследования. Если вы хотите узнать, как выполнить один из этих методов, вы можете найти в Google учебники по программированию для любого из них.

Ограничения

Квазиэксперименты имеют свои ограничения. Помните, вывод о причинно-следственной связи отличается от ее установления, и точка. Если вы провели блестящий квази-эксперимент, все еще возможно, что вы упустили искажающий фактор, который свел бы на нет ваши выводы. Результаты квазиэксперимента также нельзя обобщать за пределы изученной вами популяции.

Даже при безупречном выполнении результаты трудно объяснить. При представлении результатов квазиэкспериментов лучше быть четким и кратким, а также по возможности использовать визуальные эффекты. Как и хороший продукт, хорошая аналитика сложна внутри, но проста снаружи. Трудно найти этот баланс, и, как уже упоминалось, в этом есть настоящее искусство, но именно это делает его забавным.