Зачем нужна модель Киркпатрика

Зачем нужна модель Киркпатрика

Рассуждения про модель Киркпатрика, оценку эффективности обучения, регрессионный анализ и, главное, отношение HR-а к этому.

Вслед вебинару на нашем портале Матстатистика для HR-3

Мы рассматривали сегодня регрессионный анализ. Было при этом максимально человек 25. Что очень мало для нашего портала.

Если бы вебинар был по теме Модель Киркпатрика, уверяю вас, было бы человек 90-120. От чего так? Я не буду отвечать прямо, дабы не обидеть рынок, а поррассуждаю.

Модель Киркпатрика

Когда речь заходит о практическом применении модели Киркпатрика, то HR-ы обычно говорят: мы оцениваем первый уровень… а мы уже второй… а мы еще и третий…

В этот момент хочется тупо спросить: …и?

Что такое первый уровень модели Кирпатрика? Это анкеты обратной связи после тренингов. Собрали, посчитали среднее, сказали начальнику, начальник недовольно поморщился, потому что ему эта информация не уперлась никуда, и мы дружно забыли… Поставив галку в памяти: измеряем первый уровень.

Что такое второй уровень модели киркпатрика? Это тестики, которые мы и наши спецы варганим и даем участникам тренингов. Чаще они вопросов на 15-20, это уже прорыв, если мы такое делаем, но прежнему: и что???

Как мы используем получаемую информацию? Чаще никак! Зато как в трансе упоминаем про модель Киркпатрика.

Оценка эффективности обучения

Вот что сам Киркпатрик пишет про свою модель

Некоторые тренера тревожатся получить сразу результаты по 3-му и 4-му уровню, потому что они думают, что 1-й и 2-й не важны. Это неправильно. Представьте, что вы провели оценку и выявили, что на 3-м уровне изменения ничтожны или их нет.

Какой вывод вы должны сделать?

Первый вывод: программа плоха, и мы должны прекратить ее проведение, или, по крайней, усовершенствовать. Этот вывод может быть неверным: вполне возможно, что сама обстановка препятствует проявлению нового поведения. Менеджеры могут возвращаться к работе с необходимыми знаниями, навыками, установками, но боссы могут быть не готовы принимать их. Следовательно, очень важно оценивать второй уровень с тем, чтобы понять, почему не произошло изменений в производственном поведении: в учебе ли дело или в организационном климате.

В данном случае я смею утверждать, что модель Киркпатрика лишь частный случай более общей модели оценки эффективности обучения.

В нашем случае модель выглядит так

Критерий эффективности = Ф1 + Ф2 + Ф3 и т.п…

В случае с моделью Киркпатрика критерием эффективности выступают экономические факторы, хотя Киркпатрик отошел от этого и помимо экономических метрик (hard) предлагает не экономические (soft): такие как улучшение процессов, организационной культуры и т.п…  Это безусловно, от безысходности. Можно как угодно называть это, но по простому за изменениями корпоративной культуры чаще стоят всего лишь опросы персонала. Но нам надо по модному назвать это измерением корпоративной культуры.

Итак

Чаще всего за критерием эффективности у нас будут стоять только опрос экспертов – это самая доступная процедура.

Либо, что предпочтительнее – уровень продаж, уровень ошибок, объем выполняемых работ и т.п… - т.е. некий вещественный результат

А вот все остальные факторы – обратная связь, мотивация, уровень знаний, навыки - являются вкладом в эти критерии. И наша задача усмотреть связь (или ее отсутствие) между этими факторами и критериями эффективности.

Как нам помогает в этом модель Киркпатрика? Хреновасто, прямо надо сказать. В лучшем случае мы сами (а никак не с указания Киркпатрика) меряем корреляции между уровнями модели. Но и это нам мало помогает

Регрессионный анализ

А вот регрессионный анализ вполне даем понимание того, как факторы увязаны с результатами.

Более того, в модели регрессионного анализа факторов может быть разное количество. На этом фоне смешной выглядит дискуссию о первом уровнемодели Киркпатрика: должна ли быть это обратная связь или внутренняя мотивация сотрудников. В регрессионном анализе и то, и другое возможно, причем  уровень определяется весом фактора. И, например, обратная связь может быть вообще незначима, и это значит, что в данном конкретном случае измерять ее не имеет смысла.

Не, ну классно же?

Почему нет

Метологически причины неприятия регрессионного анализа описаны в Валидность теста в психологии и бизнесе

Я опущу здесь опять критику в сторону HR, чтобы не выглядеть этаким теоретиком, который силен только в своем блоге. Безусловно, регрессионный анализ требует бОльшие ресурсы, чем Модель Киркпатрика. Безусловно, регрессионный анализ требует скилсы от HR более высокого уровня, чем для работы с моделью Киркпатрика.

Можно сетовать по этому поводу, а можно диагносцировать отрасль HR: в маркетинге незнание статистических методов уже моветон, в экономике статистика применяется на рабочем уровне. И представители маркетинга, экономисты не обсуждают вопросы, могут ли они быть бизнес партнерами. Этот вопрос стоит в HR.

Может быть мы станем бизнес партнерами, когда освоим регрессионный анализ вместо игрушек типа модели Киркпатрика?