Перевод статьи How Calibration Meetings Introduce Bias into Performance Reviews

Статья Гарвард Бизнес ревью.

Авторы:

• Raafiya Ali Khan is a policy and research fellow at the Center for WorkLife Law, University of California College of the Law, San Francisco.
• Rachel M. Korn is the research director at the Center for WorkLife Law, UC Hastings College of the Law.
• Joan C. Williams is a Sullivan Professor of Law at University of California College of the Law

ПРИГЛАШАЮ ОТСЛЕЖИВАТЬ НАС В ТЕЛЕГРАМ

Как встречи по калибровке вносят предвзятость в Performance Reviews

Справедливая оценка эффективности имеет решающее значение для успеха компании, поскольку она гарантирует, что наиболее ценные сотрудники будут продвигаться по службе и оставаться в компании. Ряд компаний ввели калибровочные собрания — когда руководители обсуждают и корректируют рейтинги всей компании — в попытке искоренить предвзятость, требуя от менеджеров соблюдения последовательных стандартов. Однако новые исследования показывают, что эти встречи могут внести предвзятость в процесс по нескольким причинам. Небольшие изменения, такие как обучение участников собрания тому, как выглядит предвзятость, могут помочь выровнять правила игры.

Калибровочные совещания обычно являются одним из заключительных этапов в циклах оценки эффективности многих компаний. Процесс обычно начинается с того, что руководитель выставляет оценки своим непосредственным подчиненным, давая каждому общий рейтинг. Затем руководитель посещает калибровочное совещание с другими руководителями и старшими руководителями, чтобы обсудить и скорректировать рейтинги по всей компании. В конечном итоге сотрудники оцениваются дважды: один раз своим руководителем и один раз калибровочной комиссией.

Цель процесса калибровки — искоренить предвзятость, заставив менеджеров соблюдать последовательные стандарты и смягчив любой фаворитизм, проявляющийся за кулисами. Это работает, но только для одного типа предвзятости. Исследование показало, что калибровочные встречи оказались успешными в снижении предвзятости, связанной с снисходительностью, которая представляет собой тенденцию менеджеров оценивать работу сотрудников выше, чем они на самом деле заслуживают.

Однако то же исследование, а также наш собственный анализ данных калибровок выявили ряд способов, которыми собрания по калибровке фактически вносят предвзятость в процесс оценки производительности.

Например, приведенное выше исследование показало, что калибровочные собрания, как правило, усугубляют тенденцию ранжировать сотрудников ближе к середине шкалы, не делая различий между высокоэффективными, средними и низкоэффективными работниками. Это означает, что сотрудники со средними и низкими показателями не получают важной обратной связи о том, как их улучшить, и рискуют послать сотрудникам деморализующее сообщение о том, что они просто средние. Вряд ли идеальный.

Но это не единственный вид предвзятости, который способствует калибровке. Когда мы недавно глубоко углубились в «согласованные оценки» одной юридической фирмы, мы обнаружили несколько отрезвляющих сообщений. Консенсусные оценки, которые распространены в юридических фирмах, — это когда партнеры заполняют оценки каждого человека, с которым они работали. Оцениваемые сотрудники никогда не видят этих оценок. Вместо этого небольшая группа партнеров проверяет оценки руководителя, а затем пишет «согласованные оценки», которые получает сотрудник.

У этой процедуры есть несколько очевидных недостатков. Сотрудник никогда не знает, кто что сказал, и ему не предоставляется возможность запросить дополнительную информацию или разработать план улучшения с конкретным руководителем на основе отзывов этого руководителя.

Этот процесс также усугубил две основные формы предвзятости, которые обычно проявляются в оценках: предвзятость «доказать это еще раз», когда одним группам необходимо проявить себя больше, чем другим, и предвзятость «натянутого каната», когда принимается более широкий диапазон поведения. из одних групп, чем из других.

В юридической фирме мы обнаружили, что процесс калибровки привел к предвзятости в отношении цветных женщин, которой не было в оценках руководителей. Например, разница в процентном соотношении белых мужчин и цветных женщин, старших юрисконсультов, которых руководители назвали «ценными» активами, составляла всего два процентных пункта. Но эта незначительная разница выросла до 34 процентных пунктов в консенсусных оценках.

Предположив, что эти юристы были одинаково талантливы, мы пришли к выводу, что калибровочные встречи укрепили гендерные и расовые стереотипы о том, кто ценен, несмотря на тот факт, что непосредственные руководители считали белых мужчин и цветных женщин примерно равными.

Показательно, что адвокаты, которые действительно работали с оцениваемыми цветными женщинами, считали их работу примерно такой же, как и у белых мужчин: доказательства часто перевешивают стереотипы. Стереотипы имеют тенденцию доминировать, когда не хватает знаний из первых рук. Также важно то, что эта закономерность затронула не только относительно младших сотрудников, но и старших юристов.

У белых женщин возник другой вид предвзятости «докажи это еще раз». Они на 12 процентных пунктов чаще, чем белые мужчины, были отмечены как обладающие потенциалом в оценках руководителей. После процесса калибровки вероятность того, что их потенциал был отмечен, у белых женщин была на пять процентных пунктов ниже, чем у белых мужчин. Это особенно важно, учитывая недавнее исследование, которое показало, что до 50% разницы в продвижении по службе между мужчинами и женщинами объясняется разными оценками потенциала в оценках производительности.

Кроме того, мы обнаружили явную предвзятость, которая обычно проявляется в комментариях о личностях сотрудников. В наших исследованиях оценки производительности цветные люди обычно получают больше комментариев о своей личности, чем белые мужчины, потому что поведение, которое с готовностью принимается у белого мужчины, может рассматриваться как «трудное», «гневное» или «пугающее» у белого человека. цветной человек.

Предвзятость в отношении натянутости также усугублялась консенсусными оценками. Оценки руководителей показали разницу всего в два процентных пункта между белыми мужчинами и цветными мужчинами, которых описывали как «многих любимых». После калибровочных рейтингов цветные мужчины имели на 11 процентных пунктов больше шансов быть описанными таким образом. Что плохого в том, чтобы тебя любили? Цитируя чернокожего человека, который был одним из немногих чернокожих сотрудников в его компании: «Черный человек не сможет добиться успеха здесь, если он не будет лучшим другом для всех». Чернокожие мужчины должны были одновременно хорошо выполнять свою работу и быть «лучшими друзьями каждого», в то время как белые могли добиться успеха только благодаря своей работе. Если в ваших оценках появится фраза «хорошо понравилось», это станет громким и ясным сигналом.

Форматы калибровочных встреч различаются в зависимости от организации, но если этим встречам не хватает структуры, компании обязательно увидят аналогичные результаты. Одна известная нам технологическая компания проводила калибровочные встречи в течение двух дней, чтобы оценить более 100 сотрудников. Каждый день у них заканчивалось время. В результате сотрудники, чьи рейтинги были проверены в начале дня, получили больше эфирного времени, в то время как сотрудники, чьи рейтинги были рассмотрены в конце, остались в минусе. Если, как мы видели выше, о белых мужчинах с большей вероятностью будут судить по потенциалу, а о других нет, это означает, что белые мужчины, рассматриваемые в конце дня, с большей вероятностью получат более высокие оценки, чем женщины и цветные кандидаты, которых считают в то же время.

Форма оценки эффективности другой компании содержала так много критериев, что обсудить их все было невозможно; компания также не смогла уследить за тем, что говорилось о каждом сотруднике. В результате сотрудники были оценены по разным и противоречивым критериям. Опять же, если каждый кандидат не будет оцениваться по одним и тем же критериям, с доказательствами и по одной и той же рейтинговой шкале, будет иметь место предвзятость.

Еще одна проблема, с которой мы столкнулись на неструктурированных калибровочных совещаниях, заключается в том, что обсуждаются комментарии о личной жизни (семейные проблемы, родительский статус и даже внешний вид) — комментарии, которые никогда не будут написаны при оценке эффективности по простой причине: они неуместны и не имеет отношения к производительности.

Когда калибровочные собрания проводятся бесплатно для всех, участники могут быть уязвимы для лоббирования со стороны сотрудников. Один из бывших топ-менеджеров Amazon даже рекомендовал сотрудникам заранее определить участников калибровочных встреч и связаться с ними — по сути, заискивая перед начальством, чтобы произвести хорошее неизгладимое впечатление. Этот шаг может сработать для некоторых сотрудников, но будет проще для тех, кто находится в группе (обычно белые мужчины-экстраверты). Более простой момент: сотрудникам не нужно так усердно работать, чтобы получить справедливую оценку; Задача организации — давать всем справедливые оценки.

Итак, как мы установили, калибровочные собрания могут стать чашкой Петри для предвзятости. Нужно ли нам просто отказаться от всего процесса? Это может быть правильным выбором для некоторых организаций, но хорошая новость заключается в том, что небольшие изменения могут устранить предвзятость на калибровочных собраниях, выравнивая правила игры для всех групп в процессе оценки эффективности.

Научите участников, как выглядит предвзятость.

Люди, вероятно, поймут и признают расовые, этнические или гендерные стереотипы, но, возможно, не так хорошо знакомы с другими основными формами предвзятости, такими как предубеждения по поводу каната, предубеждений «докажи это еще раз», родительской стены или перетягивания каната. Мы рекомендуем организациям обучать всех, кто участвует в процессе калибровки, распознавать эти предвзятости. Мы подготовили бесплатное руководство по выявлению предвзятости в оценке эффективности, которым может воспользоваться каждый.

Наш эксперимент с юридической фирмой среднего размера показал, что обучение оценщиков тому, как выглядит предвзятость, привело к резкому сокращению количества негативных личностных комментариев о цветных людях: с 14% до вмешательства до 0% после.

Используйте последовательные, краткие, основанные на фактах критерии эффективности и попросите участников заранее представить оценки в письменном виде.

Установление ключевых компетенций позволит вам оценивать каждого сотрудника по одним и тем же критериям, релевантным для работы. Мы рекомендуем всем участникам калибровочных совещаний предоставить два или три доказательства до калибровочного совещания, подтверждающие их письменные оценки того, была ли продемонстрирована компетентность. Наше исследование показало, что, когда менеджеры заранее соглашаются на рейтинг, они с меньшей вероятностью поддадутся влиянию, если начальство начнет разговор с другого мнения.

В одном эксперименте с крупной розничной компанией мы обнаружили, что только 43% сотрудников получили обоснованную обратную связь по оценке своей работы. После перехода на рубрику, которая включала краткие и конкретные ожидания в отношении производительности, менеджерам стало легче использовать доказательства в своих оценках, и общее количество сотрудников, получивших обратную связь, основанную на фактических данных, увеличилось до 87%.

Поручите людям следить за предвзятостью во время встречи.

«Прерыватели предвзятости», или участники, которым было поручено искать доказательства предвзятости во время калибровочного совещания, могут вернуть разговор к заранее установленным критериям эффективности в том случае, если собрание отклонится к нерелевантным темам, например, насколько дружелюбен сотрудник. . Самый простой способ сделать это — просто спросить: «Это относится к рубрике?»

Оценка производительности призвана придать сотрудникам уверенность или стать тревожным сигналом. Справедливая оценка имеет решающее значение для успеха компании, поскольку она гарантирует, что наиболее ценные сотрудники будут продвигаться по службе и оставаться в компании. Хотя наше исследование показало расовую и гендерную предвзятость почти во всех компаниях, которые мы оценивали, предвзятость не является неизбежной, если организации внедряют более структурированный, основанный на фактических данных процесс.

ПРИГЛАШАЮ ОТСЛЕЖИВАТЬ НАС В ТЕЛЕГРАМ