Share |

четверг, 9 августа 2012 г.

Зачем нужна модель Киркпатрика

Зачем нужна модель Киркпатрика

Рассуждения про модель Киркпатрика, оценку эффективности обучения, регрессионный анализ и, главное, отношение HR-а к этому.
Вслед вебинару на нашем портале Матстатистика для HR-3
Мы рассматривали сегодня регрессионный анализ. Было при этом максимально человек 25. Что очень мало для нашего портала.
Если бы вебинар был по теме Модель Киркпатрика, уверяю вас, было бы человек 90-120. От чего так? Я не буду отвечать прямо, дабы не обидеть рынок, а поррассуждаю.

Модель Киркпатрика

Когда речь заходит о практическом применении модели Киркпатрика, то HR-ы обычно говорят: мы оцениваем первый уровень… а мы уже второй… а мы еще и третий…
В этот момент хочется тупо спросить: …и?
Что такое первый уровень модели Кирпатрика? Это анкеты обратной связи после тренингов. Собрали, посчитали среднее, сказали начальнику, начальник недовольно поморщился, потому что ему эта информация не уперлась никуда, и мы дружно забыли… Поставив галку в памяти: измеряем первый уровень.
Что такое второй уровень модели киркпатрика? Это тестики, которые мы и наши спецы варганим и даем участникам тренингов. Чаще они вопросов на 15-20, это уже прорыв, если мы такое делаем, но прежнему: и что???
Как мы используем получаемую информацию? Чаще никак! Зато как в трансе упоминаем про модель Киркпатрика.

Оценка эффективности обучения

Вот что сам Киркпатрик пишет про свою модель
Некоторые тренера тревожатся получить сразу результаты по 3-му и 4-му уровню, потому что они думают, что 1-й и 2-й не важны. Это неправильно. Представьте, что вы провели оценку и выявили, что на 3-м уровне изменения ничтожны или их нет.
Какой вывод вы должны сделать?
Первый вывод: программа плоха, и мы должны прекратить ее проведение, или, по крайней, усовершенствовать. Этот вывод может быть неверным: вполне возможно, что сама обстановка препятствует проявлению нового поведения. Менеджеры могут возвращаться к работе с необходимыми знаниями, навыками, установками, но боссы могут быть не готовы принимать их. Следовательно, очень важно оценивать второй уровень с тем, чтобы понять, почему не произошло изменений в производственном поведении: в учебе ли дело или в организационном климате.
В данном случае я смею утверждать, что модель Киркпатрика лишь частный случай более общей модели оценки эффективности обучения.
В нашем случае модель выглядит так
Критерий эффективности = Ф1 + Ф2 + Ф3 и т.п…
В случае с моделью Киркпатрика критерием эффективности выступают экономические факторы, хотя Киркпатрик отошел от этого и помимо экономических метрик (hard) предлагает не экономические (soft): такие как улучшение процессов, организационной культуры и т.п…  Это безусловно, от безысходности. Можно как угодно называть это, но по простому за изменениями корпоративной культуры чаще стоят всего лишь опросы персонала. Но нам надо по модному назвать это измерением корпоративной культуры.

Итак

Чаще всего за критерием эффективности у нас будут стоять только опрос экспертов – это самая доступная процедура.
Либо, что предпочтительнее – уровень продаж, уровень ошибок, объем выполняемых работ и т.п… - т.е. некий вещественный результат
А вот все остальные факторы – обратная связь, мотивация, уровень знаний, навыки - являются вкладом в эти критерии. И наша задача усмотреть связь (или ее отсутствие) между этими факторами и критериями эффективности.
Как нам помогает в этом модель Киркпатрика? Хреновасто, прямо надо сказать. В лучшем случае мы сами (а никак не с указания Киркпатрика) меряем корреляции между уровнями модели. Но и это нам мало помогает

Регрессионный анализ

А вот регрессионный анализ вполне даем понимание того, как факторы увязаны с результатами.
Более того, в модели регрессионного анализа факторов может быть разное количество. На этом фоне смешной выглядит дискуссию о первом уровнемодели Киркпатрика: должна ли быть это обратная связь или внутренняя мотивация сотрудников. В регрессионном анализе и то, и другое возможно, причем  уровень определяется весом фактора. И, например, обратная связь может быть вообще незначима, и это значит, что в данном конкретном случае измерять ее не имеет смысла.
Не, ну классно же?

Почему нет

Метологически причины неприятия регрессионного анализа описаны в Валидность теста в психологии и бизнесе
Я опущу здесь опять критику в сторону HR, чтобы не выглядеть этаким теоретиком, который силен только в своем блоге. Безусловно, регрессионный анализ требует бОльшие ресурсы, чем Модель Киркпатрика. Безусловно, регрессионный анализ требует скилсы от HR более высокого уровня, чем для работы с моделью Киркпатрика.
Можно сетовать по этому поводу, а можно диагносцировать отрасль HR: в маркетинге незнание статистических методов уже моветон, в экономике статистика применяется на рабочем уровне. И представители маркетинга, экономисты не обсуждают вопросы, могут ли они быть бизнес партнерами. Этот вопрос стоит в HR.
Может быть мы станем бизнес партнерами, когда освоим регрессионный анализ вместо игрушек типа модели Киркпатрика?

9 комментариев:

  1. В одном из постов Эдуард тактично заметил, что модель Киркпатрика себя "изжила".
    На мой взгляд "Модель Киркпатрика" в своей основе порочна. Почему?
    Ответ прост: не заданы границы применимости модели. Возможно, где-то она эффективна. Но в большинстве случаев - нет.
    Почему №2?
    Потому, что существуют такие понятия, как "зона комфорта" и "состояние потока". Если тренер сумел добиться у группы состояния потока, то совершенно естественно, после тренинга группа дружно скажет, что: обучение понравилось, поведение изменилось в лучшую сторону.
    При этом мы знаем, что лучше новые знания усваиваются и достигается наивысший результатот деятельности за пределами зоны комфорта.
    Могу предположить, что состояние потока (инсайт, ощущение счастья) и дискомфорт вещи взаимоисключающие.
    Простой пример. Компания вводит новый продукт. Организуется обучение сотрудников новому продукту. Каким будет реакция персонала на это?

    ОтветитьУдалить
  2. Александр, модель киркпартика - не модель вовсе
    поскольку основное определение модели - это демонстрация отношений между частями
    в так называемой модели киркпартика никаких отношений между частями не показано

    ОтветитьУдалить
  3. Эдуард, понимание ценности применения любых мат.методов приходит после понимания целесообразности этих инструментов и того, какие реально результаты они могут дать и для чего эти результаты могут быть использованы.
    Любая регрессионная модель показывает
    1) насколько данный комплект параметров достоверно описывает некую величину
    2) каково (в величинах измерения) влияние фактора на итоговую величину при изменении фактора на единицу при прочих равных.

    Если данные временные - можно попытать спрогнозировать на короткий период.
    Все!

    т.е. чтобы применимость в HR практике регрессионного анализа возможно сли следующем счастливом стечении обстоятельств
    1) есть оцифрованные величины, соотнесенные во времени или относительно персон в достаточном количестве
    2) Есть гипотеза для тестирования. Обоснованная, логичная, понятная, профессионально обоснованная. По какой-то причине нужно ее проверить
    3) исследователь владеет методиками анализа - одних статистик Фишера и Стьюдента маловато. Нужно еще хорошо понимать мультиколинеарность таких моделей, знать технологию оцифровки и введения переменных-признаков. Понимание того как в модель вложить не просто величину а темп ее изменения
    4) в полученной модели со всеми суперстатистиками в пределах 5 (10)% погрешности все величины обоснованно достоверны
    5) есть понимание что с цифрами делать.

    Вы реально можете сформулировать прикладные задачи для построения таких моделей?
    Если да - было бы крайне интересно узнать формулировки и увидеть хоть один результат с практической ценностью

    ОтветитьУдалить
  4. ок, прочла
    Эдуард а что у Вас зависимая переменная в модели, если Вы строите ее в допущениях модели Киркпатрика? и как и чем измеряются факторы?
    И уж совсем интересно - Вы по фактору на уровень даете или делаете набор для каждого уровня и строите отдельные модели? Или все в одно и в игнор то, что уровни имеют положительную корреляцию между собой (Alliger and Janak, 1989). Тогда рискуете иметь сильную мультиконеарность и модель вообще не имеет смысла?

    ОтветитьУдалить
    Ответы
    1. а вы готовы транслировать (Alliger and Janak, 1989) на все случаи жизни? Тогда мне очень жаль,
      почитайте для разнообразия про другие результаты
      http://hrm.ru/chetyrekhurovnevaja-model-ocenki-kirkpatrika
      Есть три проблемных допущения модели Киркпатрика: 1) уровни не расположены в порядке возрастания (нет иерархии уровней); 2) уровни не связаны причинно между собой; 3) уровни имеют положительную корреляцию между собой (Alliger and Janak, 1989).
      Единственная часть четырехуровневой модели Киркпатрика, которая не выдержала проверку временем, - Обратная связь (первый уровень). К примеру, школа Тренер XXI века имеет одни из самых низких показателей по первому уровню – уровню обратной связи, но отвечает за высокие показатели деятельности (четвертый уровень), которыми измеряют продуктивность своих выпускников.

      Удалить
    2. Причем данные у меня же из статьи сперли, но не удосужились разобраться))))

      Удалить
  5. Добрый день всем членам сообщества.
    Я с удовольствием читаю полные сарказма статьи Эдуарда Бабушкина. Только не совсем понимаю, зачем автор вводит "сообщников" в заблуждение. Регрессионный анализ - всего лишь метод анализа данных, полученных в результате применения того или иного измерительного инструмента в рамках той или иной модели. И он позволяет рассматривать вопрос не более чем о качестве измерительного инструмента. Это так называемая конструктная валидность. Но и для ее измерения требуется сравнение данных полученных разными способами, т.е. с применением разных методик. На самом деле, в рассматриваемой автором теме интересует валидность методики (если уж мы говорим о применимости той или иной модели). И регрессионный анализ в этом случае, не является панацеей, как частный метод и как метода, направленный непосредственно на анализ данных.
    Но в чем я целиком и полностью солидарен с автором, так это в том, что HR-ы зачастую не понимают почему они могут или не могут применять ту или иную методику в том или ином случае. Для иллюстрации, рассмотрим проблему измерения интеллекта. Чтобы измерять интеллект, нужно как минимум знать, что это такое. Тьюринг предложил сравнивать интеллект компьютера с человеческим. Существуют Тесты Тьюринга построены на моделях интеллекта, которые подвергаются справедливой критике именно из-за несовершества заложенной модели человеческого интеллекта. Поэтому, если согласно тестам какой-то компьютер будет признан разумным, этот разум далеко не будет соответствовать своему эталону - человеческому разуму, именно из-за недостаточной валидности заложенной модели.
    Я к чему все это. Наши "сообщники" в большинстве своем не понимают, что же они на самом деле измеряют. Вся соль этих процессов - вопрос веры. Это просто офисная религия. Хороша религия или плоха - это один вопрос, а вот как молиться и нужно ли при этом поститься и самоистязаться (применять регрессионный анализ) - это уже совершенно другой вопос, согласны?

    ОтветитьУдалить
    Ответы
    1. так и не поняол, в чем я ввожу в заблуждение
      вы по моему сами запутались

      валидность какой методики? регрессионный анализ и помогает эту самую вашу валидность установить

      думаю, вам нужно в терминах разобраться

      Удалить