Технология оценки эффективности обучения персонала

Предлагаю бриф технологии оценки эффективности обучения обучения.
Пост возник в продолжение дискуссии Оценка эффективности обучения (кейс).
Как мне кажется, настало пора уже освобождаться от мифов Модели Киркпатрика.
Я предлагаю остановиться на трех шагах:

1. Установление различий
2. Выявление влияния
3. Вычисление эффективности
4. и добавлю от себя Выстраивание системы измерений

По пунктам

Установление различий

Или, по другому: ДО и ПОСЛЕ.
Этап этап включает в себя определение измеряемого признака (или ряда признаков), которые HR определяет как показатели обучения. При этом, показатели могут быть косвенными. Т.е. прямые - это показатели продаж, уровень ответов на пост тест и т.д.. А косвенные: участники тренинга стали увольняться. Или задерживаться на работе.

Т.е. косвенный признак - признак, который не был заявлен как цель тренинга.
Выделяю это, поскольку многие коллеги представляют себе, что эффективность можно и нужно измерять только в рублях, килограммах и т.п.... К сожалению, это не всегда возможно, но косвенные признаки сами по себе могут нам дать очень важную информацию о тренинге / учебной программе.

Кроме того, роль косвенных признаков возрастает, если мы ведет постоянную базу данных о сотрудниках: в этом случае в базе данных появляется еще одна колонка (например, "Тренинг Лидерства"), в которой появляется признак 1 или 0. 

Далее, важным является выявление значимости различий ДО и ПОСЛЕ (критерий знаков, критерий Уилкоксона, критерий Стьюдента для зависимых выборок, любимый всеми нами критерий Манна Уитни)

Выявление влияния

Выявление значимых различий ДО и ПОСЛЕ не гарантирует того, что источником изменений был тренинг или учебная программа.

На своем семинаре Аналитика для HR часто привожу пример сравнения очной и дистанционной форм обучения, когда очники показали значимо более высокий результат обучения. Но по факту выяснилось, что на семинар в Москву отправляли более эффективных работников, которые демонстрировали более высокие результаты и в обучении, как форма мотивации таких работников - съездил в Москву в качестве бонуса (думаю, что HR-ам понятна такая логика).

В этом поинте мы применяем то, что в модели Киркпатрика называется "очищение эффекта". Т.е. мы должны сравнить изменение измеряемого признака в сравнении с контрольной группой, с возможным влиянием сезонных факторов, факторов территорий, факторов стажа, возраста, влияния руководителя и даже разных тренеров (см. например К оценке эффективности обучения).
Статистические критерии в данной ситуации применяются под ситуацию. От любимого всеми критерия Манна Уитни, до дисперсионного анализа. Или регрессионного анализа, где факт прохождения является одной из переменных уравнения, где может выясниться влияние на эффективность не в качестве самостоятельного эффекта, а во взаимодействии с другими переменными.

Вычисление эффективности

В этом только месте возникают предпосылки измерения эффективности. Но если вы дошли до этого места и по прежнему хотите оценить эффект в рублях, то должны понимать, как его сложно вычислить чисто по математическим причинам. Либо как вариант - например, краткосрочное повышение продаж. Но я хоть и скептик в вычислении прямого эффекта от тренинга, не утверждаю, что эффект нельзя вычислить.
В идеале эффект семинара /учебной программы скорее уже должен вычисляться в виде коэффициента регрессии.

Выстраивание системы измерений

Все же мне кажется более разумной система построения общей аналитики персонала в компании, где активности обучения фиксируются. Т.е. специалист по измерению эффективности обучения / он же спец по T&D заносит в общую CRM по персоналу, в кадровую систему, в LMS-ку, в TMS-ку заносит всю информацию по пройденному обучению. (Ведение базы данных облегчает выбор переменных для первичного анализа - уже имеется набор переменных, с чем можно работать)
И тогда возникают показатели, не привязанные к конкретному тренингу, а, например, затраты на обучение на сотрудника. Или составьте уравнение регрессии, где в качестве одной из переменных - затраты на обучение сотрудников, а в качестве выходной переменной - уровень продаж. И тогда мы получим, может быть, самый вкусный показатель эффективности - рублей дохода / прибыли на вложенный рубль в обучение.

Сложность внедрения этой системы, на мой взгляд, заключается в том, что и HR-ы, и руководители нацелены на получение быстрой отдачи, как от самого тренинга, так и от анализа эффективности - вынь да положь результаты. А тут ему говорят, что измерение эффективности тренинга - процесс измерения эффективности, на самом деле, процесс, а не сиюминутная задача. В практике же задача может быть сведена к ситуации, когда, например, из 29 участников кадрового резерва в течение года уволилось 17, а после тренинга работников колл-центра в течение полугода не остался работать ни один из прошедших участников (пример из практики одного банка). Вам решать, можно ли относить эти случае к оценке эффективности обучения. Я думаю - да.

На самом деле, в этом месте возникает интересная задача по выявлению неожиданных взаимосвязей и, конечно, их использованию. Такое себе могут позволить достаточно крупные компании, но успех обеспечивается наличием у аналитика не только инструментов, но еще и фантазии, поскольку в самом HR с этими технологиями практически не работали. См например О нелинейных методах оценки эффективности обучения
Удачи вам в освоении новых пространств!