Перевод статьи Why You Should Start A/B Testing Your DEI Initiatives

Статья Гарвард Бизнес ревью

Авторы: 

• Edward Chang is an assistant professor in the Negotiation, Organizations & Markets Unit at Harvard Business School and a member of the Inclusion Lab.
• Erika Kirgios is an assistant professor of Behavioral Science at the University of Chicago’s Booth School of Business and a member of the Inclusion Lab.

Почему вы должны начать A/B-тестирование ваших инициатив по многообразию

Хотя сегодня инициативы DEI (diversity, equity and inclusion) становятся все более распространенными, немногие компании на самом деле утруждают себя проверкой их эффективности. В этой статье, опираясь на свой опыт ученых и консультантов, тщательно изучавших этот вопрос, авторы описывают преимущества целевого A/B-тестирования для инициатив DEI, приводят примеры компаний, в которых они участвовали, и предлагают практические рекомендации по компании, заинтересованные в проведении собственных испытаний.

Компании по всему миру вкладывают деньги в программы DEI. По сообщениям, некоторые из них тратят десятки миллионов долларов, и, по оценкам, к 2026 году мировой рынок достигнет 15,4 миллиарда долларов. Однако, если вы не будете тщательно оценивать свое влияние, трудно понять, улучшает ли то, что вы делаете. . На самом деле, возможно, вы усугубляете ситуацию.

Было проведено обширное академическое исследование инициатив DEI, но большая часть этой работы проводилась в лабораториях и в Интернете, а не на реальных рабочих местах, измеряющих влияние на значимое поведение. Это затрудняет определение того, как эти инициативы могут быть реализованы в реальных компаниях. В конце концов, лабораторные и онлайн-участники сталкиваются с другими стимулами, контекстами и соображениями, чем сотрудники в реальном мире, и все это может повлиять на то, как предлагаемая инициатива DEI будет реализована на практике.

Прежде чем внедрять потенциально дорогостоящую инициативу, стоит убедиться, что она работает в организационных условиях. Здесь, к счастью, может помочь A/B-тестирование.

Подумайте о тренировках разнообразия. Несмотря на мета-анализ академической литературы, предполагающий, что он может быть эффективным для улучшения отношений, несколько A/B-тестов разнообразного обучения, проведенных на реальных рабочих местах, показали, что оно дало неоднозначные результаты, когда дело доходит до изменения поведения.

Можем ли мы вместо этого полагаться на интуицию или опыт? К сожалению нет. В общем, люди плохо делают прогнозы; мы изо всех сил пытаемся угадать, какие сообщения побудят людей пойти в спортзал или мы узнаем из разговоров с незнакомцами. Это применимо и к сфере DEI: одно недавнее исследование показало, что менее 1% людей смогли определить, какие вмешательства уменьшат дискриминацию.

Два тематических исследования

В рамках нашей Inclusion Lab — совместной работы ученых и консультантов, направленной на сбор данных о том, что действительно помогает улучшить DEI на рабочих местах, — мы развернули A/B-тесты вокруг инициатив DEI с некоторыми из самых влиятельных компаний в мире. Мы сталкивались с ситуациями, когда A/B-тестирование явно помогало организациям избежать ошибок DEI. Одним из примеров является проект, который MoreThanNow реализовал в партнерстве с глобальной телекоммуникационной компанией Ericsson.

Учитывая недостаточное представительство женщин в телекоммуникационной отрасли, Эрикссон хотела принять меры для устранения гендерного дисбаланса. Одним из направлений внимания был разрыв во внутренней мобильности: женщины реже, чем мужчины, перемещались по компании, что потенциально могло задушить их карьерный рост по сравнению с мужчинами.

Изучив существующую академическую литературу, мы разработали четыре сообщения, которые, как мы ожидали, помогут устранить этот пробел. Первый просто спрашивал сотрудников, заинтересованы ли они в подаче заявок на внутренние вакансии. Во втором добавлено напоминание о том, что сотрудники должны расти до новой роли, а не полностью соответствовать ей («Вам не нужно быть на 100% квалифицированным, чтобы использовать эти возможности»). В третьем использовались социальные нормы («Присоединяйтесь к тысячам коллег, которые ежегодно перемещаются по нашему бизнесу, и изучайте эти возможности»). И четвертое включало заявление женщины-руководителя компании, призывающее людей подавать заявки. Затем мы провели A/B-тестирование, в котором случайным образом распределили примерно 13 000 сотрудников для получения одного из четырех сообщений и измерили, проявили ли они интерес, посетив внутренний мобильный сайт Ericsson.

Результаты нас удивили и помогли Эрикссон определить одно сообщение, которое, по крайней мере, исходя из выраженного интереса, могло помочь устранить гендерный разрыв в компании.

По сравнению с первым сообщением, в котором сотрудников спрашивали, заинтересованы ли они в подаче заявления, и третье (социальные нормы), и четвертое (женский образец для подражания) побудили большее число мужчин, чем женщин, выразить заинтересованность, что, вопреки здравому смыслу, предполагало, что те два подхода фактически увеличили бы гендерный разрыв.

Единственным сообщением, которое сократило разрыв, было второе («Вы не должны быть квалифицированы на 100%). Короче говоря, A/B-тестирование этой инициативы DEI помогло Эрикссон избежать усугубления проблемы и определить единственный вероятный способ ее решения.

Другой пример связан с исследованием, опубликованным в Журнале экспериментальной социальной психологии, которое мы двое (Эдвард и Эрика) провели с некоммерческой организацией StepUp, которая пропагандирует физические упражнения. StepUp пытался поощрять пожертвования на работу своих ученых, и предыдущие работы предполагали, что подчеркивание разнообразия команды поможет.

Оказывается, это не так. Мы провели A/B-тестирование, в котором случайным образом распределили примерно 9 500 человек, чтобы они получили электронное письмо с просьбой о пожертвовании, которое либо подчеркивало, либо не подчеркивало разнообразие команды. Мы обнаружили, что подчеркивание разнообразия команды не оказало статистически значимого влияния на уровень пожертвований. В этом случае, хотя организация не рисковала ухудшить ситуацию, подчеркивая разнообразие команды в своих запросах, A/B-тестирование спасло их от дополнительных усилий, которые в конечном итоге не будут иметь значения. Благодаря A/B-тестированию StepUp смогла сосредоточиться на более эффективных инициативах.

Начиная

Если вы хотите провести A/B-тестирование своих инициатив DEI, выполните следующие действия:

Определите свою цель.

Какую проблему вы пытаетесь решить? Как выглядит успех? Мы обнаруживаем, что организации часто недостаточно конкретны в отношении того, чего они пытаются достичь. «Уменьшить гендерные и расовые предубеждения в нашем процессе продвижения по службе» — это лучшая цель, чем «Создать инклюзивную культуру». Конкретные цели помогают убедиться, что ваши инициативы соответствуют цели.

Выясните, как измерить успех.

Подумайте, как выглядит успех, и придумайте способ измерить, достигли ли вы его. При этом рекомендуется подвести итоги всех частей процесса, а не только конечного результата, чтобы вы могли определить точки преткновения, на которые следует обратить внимание в будущих инициативах, и понять, почему текущая инициатива работает или не работает.

Например, если успех означает увеличение разнообразия новых сотрудников, вы можете измерить разнообразие не только ваших последних сотрудников, но и пула кандидатов и набора интервьюируемых. Если успех означает сокращение пробелов в удержании среди демографических групп, вы можете измерить убыль.

Однако не забудьте изучить потенциальные причины, по которым некоторые группы могут систематически покидать компанию, в то время как другие остаются — например, различия в темпах продвижения по службе, оплате, оценках производительности, распределении желательных проектов, гибкости или чувстве сопричастности. В общем, сосредоточьтесь на результатах, которые позволяют вам количественно оценить изменения в поведении, а не на чувствах или намерениях, о которых сообщают сами.

Рандомизировать.

Если вы вовлекаете всех сразу в новую инициативу, вы не сможете оценить ее эффективность, потому что не сможете с уверенностью сказать, связаны ли какие-то изменения с инициативой или с чем-то совсем другим (другими организационными изменениями, рыночные силы, политические события).

Лучшим подходом является случайным образом назначать инициативу только некоторым людям, как это делается, например, при клинических испытаниях вакцин. Это позволяет вам сравнивать группы при прочих равных условиях.

Важно, чтобы вы делали эти задания случайным образом. Если вы позволите людям самостоятельно выбирать инициативу или программу DEI, вы не получите точного представления о том, что может произойти, если вы развернете инициативу в более широком масштабе, потому что люди, выбравшие самостоятельно, скорее всего, будут теми, кто больше всего в восторге от DEI. Вы не получите точного представления о том, сработает ли эта инициатива среди сотрудников, которые апатичны или даже откровенно не любят DEI.

Оцените свои инициативы DEI.

Сравните свою экспериментальную группу (людей, которые были назначены для инициативы) с контрольной группой (люди, которые не были назначены) по указанным вами показателям, а затем посмотрите, изменила ли ваша инициатива иглу ваших показателей. Если ваша экспериментальная группа превзошла контрольную группу по показателю, вы должны чувствовать себя уверенно, распространяя инициативу на всю организацию. Если нет, вы должны быть довольны тем, что определили инициативу, которая в случае ее широкого внедрения, вероятно, принесет больше вреда, чем пользы.

* * *

Мы понимаем, что A/B-тестирование покажется незнакомым многим командам DEI, но, вероятно, оно станет стандартной практикой в других областях вашего бизнеса. Чем больше экспериментов с DEI вы проведете, тем больше вы узнаете о том, что работает, а что нет, и тем быстрее вы добьетесь прогресса в обеспечении равенства на работе.