Оценка эффективности тренинга с использованием HR аналитики. Пример

Очень сложная тема - оценка эффективности тренингов. Читайте перевод статьи Evaluating Training Effectiveness Using HR Analytics: An Example, выполненный студенткой Высшей Школы Экономики Субботиной Варварой в рамках нашего проекта переводы статей по hr-аналитике на английском . Автор статьи Jared Valdron is an organizational psychology researcher and people analytics consultant who specializes in training effectiveness evaluation, performance

Оценка эффективности тренинга с использованием HR аналитики. Пример

Проведение оценки эффективности обучения в сфере HR, основанной на анализе данных, довольно часто остается недооцененным. В представленной статье описываются различные способы оценки эффективности обучения. Некоторые из этих способов не были оправданы, в статье также указываются способы их улучшения при использовании программы по снижению неосознаваемых предубеждений. (unconscious bias training programs).
За последние несколько лет значительное количество организаций признали проблему предвзятого отношения при оценке эффективности. Другими словами, это неосознаваемые предубеждения против определенных групп, которые влияют на наше поведение и оценку, что нередко приводит к дискриминации на рабочем месте. В большинстве случаев, подобная дискриминация касается женщин и этнических меньшинств. В связи с этим, многие компании вводят учебные программы, направленные на уменьшение негативных последствий такого рода бессознательных предубеждений.
Особую популярность такие программы получили в сфере IT индустрии. Одними из первых подобные программы ввели такие компании, как Google и Facebook. Однако, несмотря на прекрасно проделанную работу и значительный прогресс остается нерешенным следующий вопрос: «Как организации могут быть действительно эффективны в снижении негативных последствий неосознаваемых предубеждений?»
Организации, которые уже протестировали проведение подобной программы, сообщают о положительных результатах, выражающихся в повышении общей осведомленности и позитивной реакции участников. Другими словами, они сообщают, что участникам:
А) Программа понравилась
Б) Они узнали что-то новое
Несмотря на ценность предоставленной информации, эти сведения не передают в полной мере эффективность этих программ,  то есть нет результата, подтверждающего снижение негативных последствий. Однако подтверждается, что это не столько является проблемой программ по снижению предубеждений, сколько оценкой эффективности обучения в целом. Подобные программы unconscious bias training являются лишь наглядным примером.
Как профессионалы в сфере HR-аналитики, мы всегда должны следить за тем, чтобы данные, которые мы собираем, соответствовали запросу, ответ на который мы ищем. Сбор данных о реакциях и осведомленности сотрудников является удобным способом исследования. Для улучшения наших учебных программ нам необходимо расширить наши данные для отчета.

Я мог бы лично выйти в онлайн-клуб Мерлина и, таким образом, пройти обучение и
стать волшебником. Я смог бы:
А)наслаждаться обучением
Б)изучать магические заклинания
Однако, означает ли это, то что я смогу заклинать, чтобы заставить себя потом летать? К сожалению, ответ отрицательный.
Модель Киркпатрика (Kirkpatrick model), представленная ниже, выделяет два дополнительных, очень важных критерия для оценки эффективности обучения, которые многие организации пропускают:

Критерии оценки эффективности обучения, которые были описаны ранее, относятся к уровням 1 (Реакция) и  2 (Обучение). Реакция означает степень нахождения слушателями  программы приятной и актуальной, тогда как обучение описывает степень, в которой обучаемые получают знания, отношения и приверженность на основе обучения. Что же можно сказать насчет уровней 3 (Поведение) и 4 (Результаты)?

Поведение относится к тому, какое количество стажеров фактически меняет свое поведение на основе того, что они узнали, когда пришли на работу. В бессознательном контексте соответствующее поведение может быть приостановлено, чтобы понять, может ли снижение предубеждения играть роль при принятии решения. Хотя  сбор данных на уровнях 1 и 2  действительно сложнее, это все таки возможно. Вы могли бы:

А) представить слушателей с соответствующим  поведением и спросить, как часто они делали проявляли его на прошлой неделе

Б) включить соответствующие виды поведения в оценки эффективности

Результаты относятся к степени, в которой конкретные результаты происходят в результате обучения. В бессознательной (неосознаваемой) программе обучения, предвзятости это то, что мы искали все это время: снижение неосознаваемого предубеждения. Хотя трудно установить, что данный результат произошел из-за непосредственного обучения, существует вероятность, что данные, которые уже собраны, могли бы указывать результаты в правильном направлении. Например, вы можете посмотреть:

А) различия в числе жалоб, связанных с дискриминацией

Б) производительность труда различных сотрудников

Включив эти два дополнительных критерия, вы можете получить гораздо лучшее представление об эффективности своих учебных программ. На данный момент возникает еще один не маловажный вопрос: кого вы необходимо сравнивать с участниками тренинга, чтобы найти эти различия? Возникают две стратегии действий:

А) сравнение результатов сотрудников, которые приняли программу с теми, кто этого не сделал

Б) сравнение результатов сотрудников перед проведением программы и после

Основная проблема стратегии (А) заключается в том, что даже до прохождения программы сотрудники, которые решают принимать в ней участие  могут принципиально отличаться от тех, кто этого не делает. Например, участники могут быть более мотивированы, чтобы уменьшить их предвзятое отношение, чем не-участники, и могут уже вести себя таким образом, чтобы они соответствовали различным индивидуальностям.

Стратегия (Б) рассматривает проблему в (А) в том, что участники сравниваются с самими собой, устраняя влияние отдельных различий. У этой стратегии есть своя проблема, однако для того, чтобы  что-то помимо программы могло произойти между до и после программных мер, которые изменяют результат, но совершенно не связаны с программой. 

Например, в середине программы генеральный директор может отправить электронное письмо с подтверждением важности уважения к различным людям, что приведет к повышению осведомленности сотрудников о таких проблемах, которые совершенно не связаны с программой.

Хотя и (А), и (Б) имеют свои собственные недостатки, они могут покрывать ограничения друг друга. Если вы сравниваете сотрудников, которые участвуют в программе как перед собой, так и перед теми, кто не прошел обучение, вы можете получить ответы, которые вы ищете, с большей уверенностью! Еще одна рекомендация - собрать те же данные об оценке эффективности обучения через несколько месяцев после окончания обучения в качестве последующей меры. Это происходит, потому что иногда эффекты обучения ухудшаются со временем, и важно узнавать, сохраняются они или нет.

В заключение, я не хочу приуменьшить работу, выполненную такими организациями, как Google и Facebook, или создать впечатление, что вы всегда должны проводить оценку обучения на всех четырех уровнях, до и после, и по сравнению с другой группой. Я понимаю, что HR-аналитики-специалисты ограничены в их время, ресурсах и доступе к данным.

Вместо этого, я просто хочу бросить вам вызов, чтобы найти всего несколько элементов, которые я упомянул выше, которые вы, возможно, включите в свою оценку эффективности. Делая наши оценки более четкими, мы можем улучшить наше бессознательное предубеждение по поводу учебных программ и уменьшить влияние этих погрешностей на нашу работу. Мы все здесь в одной команде, так что давайте и дальше развивать наши обучающие программы и друг друга!