Модель Киркпатрика: задачка на сообразительность

Пост инструментально – размышлительный…

Вопрос к небесам

Как можно рассуждать о модели Киркпартика применительно к своей работе, если рассуждающий не владеет не то что матстатистикой, но даже excel-ем слабо пользуется?

А ведь рассуждают…

Ведение

Давно доказано, что между первым уровнем модели Киркпатрика и ROI нет значимых корреляций. А если есть, то это нечто невероятное. Приводить примеров и искать ссылки не буду, можно поискать самими в инете

НО

Есть корреляция между первым и вторым уровнями модели киркпатрика. Факт этот я подтверждал сам. И не раз. И не только я. Т.е. есть корреляция между результатами анкеты обратной связи и результатами тестов на проверку знаний после обучения.

Парадокс. Лирическое отступление

Забавно, что корреляции между обратной связью или, по другому, первым уровнем модели Киркпатрика и ROI нет, а между вторым и первым уровнями есть. В голове не укладывается: если кажется очевидным, что ВАУ после тренинга не имеет отношения к реальных бизнес результатам, то профессиональные должны быть связаны с этими бизнес результатами. Т.е. модель должна быть такой: первый уровень коррелириует со вторым, но не коррелириует с ROI, а второй коррелирует и с первым уровнем модели киркпатрика и ROI. Парадокс.  

Видите объяснение?

Инструментальность

Пост родился, когда знакомый банкир прислал результаты анкеты обратной связи и результаты тестов. Корреляцию посчитал, захотел вывести универсальную формулу, как можно определять уровень знаний специалиста, зная его отношение к семинару, электронному курсу и т.п..

Классная задачка?

Я ее конечно не решу. Хотя бы потому, что ресурсов нет совершенно. Но порассуждать можно и предложить несколько заходов могу

Проверка влияния факторов, определяющих нелинейность корреляции

зависимость между результатами обратной связи и теста профессиональных знаний не линейна, поэтому нужно установить случайность / не случайность не линейности коэффициента корреляции.

Нелинейность может определяться категоричностью выбора респондента: кто-то предпочитает выбирать крайние значения в анкете обратной связи, кто-то предпочитает смягчать ответ и выберет не + 3, а +1, +2 … А результаты теста одинаковы.. Следовательно проверяем корреляции на влияние этого фактора

Кроме этого, наверняка есть факторы, влияющие в целом на поведение респондентов при ответе

Очевидно, что если давали знания, которыми респондент уже владеет, то в анкете обратной связи он не поставит высокий балл, но на тест ответит на отлично. Следовательно, знания должны быть новыми,  или, носить характер информации.

Причем, это легко проверить инструментально, не надо уговаривать преподов: давайте только свежее!

Достаточно ввести пре тест и сравнить. Гипотеза проста: если различие между результатами ДО и результатами ПОСЛЕ минимально или его нет, то корреляция между результатами анкеты обратной связи и результатами теста ПОСЛЕ будет слабой. И наоборот, если различие между результатами ДО и результатами ПОСЛЕ высоко, то корреляция между результатами анкеты обратной связи и результатами теста ПОСЛЕ будет сильной.

Я назвал два влияющих фактора

Буду вам весьма благодарен, если добавите еще вариант влияющих факторов. Или покритикуете мой подход

Резюме

Инструментальности в моем посте оказывается маловато, поскольку мало кто решится это делать. Замечу только, что для проверки мноюприведенных гипотез необязательно научно исследовательский институт: необходим excel, желание, терпение и результаты корпоративного обучения

Ежели кто созреет – махните, я помогу с проведением расчетов