О нелинейных методах оценки эффективности обучения

О нелинейных методах оценки эффективности обучения

Пост родился из обсуждения в группе HRM на Линкедине Оценка эффективности корпоративногообучения.

Пост является методологическим, мне важно зафиксировать свои мысли, получить обратную связь, поэтому приветствуются комментарии и критика.

Вместе с тем, некие инструментальные вещи здесь присутствуют: в развитие темы Big Data в HR.

Или опять же мы можем взять за основу статью Как Google стал №3 в списке самых дорогихкомпаний Мира, используя People Analytics

Если пост вам покажется скучным и водянистым, перейдите сразу к резюме в конце – немного слов в конце в качестве итогов могут принести вам пользу.

Описание кейса

К примеру, в компании проводятся тренинги по переговорам.

Часто такой тренинг проводится, потому что .. руководство так посчитало нужным. Ну вот решили, что не хватает навыков переговоров и решили провести. Поставили hr-менеджера в известность, но дали задание посчитать эффективность тренинга.

Или даже тренинг был в рамках программы обучения менеджеров.

Проблема в измерении влияния тренинга на результаты работы. Или в оценке эффективности обучения.

Или еще проще и понятней: что считать hr-менеджеру или что делать hr-менеджеру.

Линейный подход

Линейный подход в обучении заключается в измерении по оси «цель – результаты»

Т.е. если мы планируем получить навыки переговоров, то мы должны отследить у участников после тренинга.

Проблемы

Часто цели поставлены так, что их просто не измеришь. Беру пример из обсуждения в группе на Линкедин, "реализуемое передовыми методами развития персонала" или "на базе лучших образцов отечественного и зарубежного опыта"

Второй блок проблем связан с измерением

• Анкета обратной связи непонятно, что измеряет, и непонятно, куда ее встраивать
• Тест под отдельный тренинг не всегда создашь, и тренеры часто не готовы их создавать
• Линейный руководитель заполняет анкету HR и ставит галочки с потолка, лишь бы отвязались. И его галочки зависят чаще не от реального поведения сотрудника, а 1) лишь бы отзывались 2) напишу хорошо, чтобы не ссориться с кадровиками 3) напишу хорошо, чтобы опять послали на тренинг  или плохо, чтобы не послали больше, не отвлекали от работы

Сам по себе сбор информации очень трудоемок и не вызывает оптимизма у hr-менеджера

Идеальный вариант

 результат тренинга в цифрах: мы посмотрели продажи за прошлый период, посмотрели за период после тренинга и сравнили

Проблема в «очищении эффекта»: как отделить другие факторы от влияния тренинга? Сезонность, местоположение точки продаж, тренды спроса и т.п..

И просто здравый смысл: неужто один тренинг может оказать сильное влияние на уровень продаж?

Нелинейная оценка эффективности корпоративного обучения

Нелинейная оценка эффективности корпоративного обучения базируется на двух принципах:

1. Измеряем ЛЮБЫЕ изменения после тренинга
2. Встраиваем  тренинг в более широкую систему оценки эффективности

Изменения

Самым распрекрасным инструментом измерения поведения в данном случае является корпоративный портал / корпоративная социальная сеть.

Этот инструмент позволяет нам

оптимизировать наши затраты на сбор информации

делает информацию объективной, т.е. независимой от субъективного пристрастия например линейного руководителя данного менеджера

Какая информация обирается? ЛЮБАЯ. Главный параметр – изменение в сравнении с до тренинговым периодом. Например, время, проведенное на портале.

Или время, проводимое на работе после тренинга. Или стал ли уходить сотрудник позже с работы после тренинга. Или раньше.

Самый банальный критерий – активность в форуме тренинга, т.е. вы создаете тему форума «Тренинг продаж», где предлагаете участникам

• Делиться впечатлениями и отзывами;
• Задавать вопросы тренеру;
• Писать отчеты в блогах;
• Давать описание примененным навыкам на практике.
• И т.п..

И т.п.. может быть самым интересным. Например:

Количество служебных перемещений в течение полугода / года после тренинга среди групп участников и контрольной группы (в т.ч. увольнений)

И далее вы включаете любую свою самую смелую фантазию…

Система оценки

Собственно измерение изменений – это просто пилотное исследование по отношению к более высокому уровню измерений.

Идеальная цель – получить уравнение зависимости между участия в тренинге и бизнес результатами.

В качестве зависимой переменной у вас всегда остается какой-либо бизнес результат:

• Уровень продаж,
• Продажи через лояльных клиентов;
• Количество клиентов;
• Производительность труда;
• Скорость закрытия вакансий;

Но глобально мы имеем спектр более широких возможностей. Например, как уже было сказано, в качестве зависимой переменной у нас может выступить % уволившихся после тренинга. И получите вывод, что тренинг был причиной увольнений.

Или, вы можете найти корреляцию между предсказаниями тренера и последующими результатами. И подтвердите тренерские скилсы, как вариант.

Чисто технически данные выглядят как набор данных в excel, где в колонках переменные.

Если у вас есть гипотезы – вы проверяете их, сравнивая отдельные переменные между собой, или комплексы переменных.

Если нет переменных, можно заниматься тупым перебором.

Или начать с простого корреляционного анализа, который покажет сразу все корреляции. И даже при наличии номинативных переменных картинка может быть показательной.

Кроме того, переменная, которая в одном уравнении является зависимой, в другом уравнении станет сама влияющей…

В этом и есть смысл нелинейности оценки эффективности обучения:

Вы не можете наперед сказать, что будет следствием, а что причиной, что зависимой, а что влияющей величиной.

О компетенциях специалиста

Конечно, 95 % hr прочитают и скажут, что это для них, поскольку требует много времени или требует много времени на освоение, или у них нет такого специалиста, или они сами не готовы осваивать этот инструмент

Какие нужны скилсы?

К этому всему специалисту необходимы две вещи:

• Умение работать в excel + знание статистических инструментов (критерии Манн Уитни, Хи квадрат, коэффициенты Корреляции, многомерное шкалирование, регрессионный анализ и т.п..)
• Умение придумывать гипотезы, ставить задачи (фантазия)

Как показывает практика, даже если в компании есть спец по статистике, внутренний заказчик не умеет ставить задачу: а чего он собственно хочет получить?

Диагностика

Если Вам пост показался водянистым, ни о чем, если вы ждали готовых решений, а вам ничего не показали, то не беритесь за внедрение нелинейного подхода в оценке эффективности корпоративного обучения.

Риски внедрения подхода в отсутствии готовых решений, преимущество: получаемый кайф от решения постоянно уникальных задач.

Резюме

И помните Лао-Цзы

Настоящий путешественник не планирует маршрут и никуда не намеревается попасть

Или приходите на мой семинар Аналитика для HR