Share |

пятница, 15 марта 2013 г.

О нелинейных методах оценки эффективности обучения

О нелинейных методах оценки эффективности обучения

Пост родился из обсуждения в группе HRM на Линкедине Оценка эффективности корпоративногообучения.
Пост является методологическим, мне важно зафиксировать свои мысли, получить обратную связь, поэтому приветствуются комментарии и критика.
Вместе с тем, некие инструментальные вещи здесь присутствуют: в развитие темы Big Data в HR.
Если пост вам покажется скучным и водянистым, перейдите сразу к резюме в конце – немного слов в конце в качестве итогов могут принести вам пользу.

Описание кейса

К примеру, в компании проводятся тренинги по переговорам.
Часто такой тренинг проводится, потому что .. руководство так посчитало нужным. Ну вот решили, что не хватает навыков переговоров и решили провести. Поставили hr-менеджера в известность, но дали задание посчитать эффективность тренинга.
Или даже тренинг был в рамках программы обучения менеджеров.
Проблема в измерении влияния тренинга на результаты работы. Или в оценке эффективности обучения.
Или еще проще и понятней: что считать hr-менеджеру или что делать hr-менеджеру.

Линейный подход

Линейный подход в обучении заключается в измерении по оси «цель – результаты»
Т.е. если мы планируем получить навыки переговоров, то мы должны отследить у участников после тренинга.

Проблемы

Часто цели поставлены так, что их просто не измеришь. Беру пример из обсуждения в группе на Линкедин, "реализуемое передовыми методами развития персонала" или "на базе лучших образцов отечественного и зарубежного опыта"
Второй блок проблем связан с измерением
  • Анкета обратной связи непонятно, что измеряет, и непонятно, куда ее встраивать
  • Тест под отдельный тренинг не всегда создашь, и тренеры часто не готовы их создавать
  • Линейный руководитель заполняет анкету HR и ставит галочки с потолка, лишь бы отвязались. И его галочки зависят чаще не от реального поведения сотрудника, а 1) лишь бы отзывались 2) напишу хорошо, чтобы не ссориться с кадровиками 3) напишу хорошо, чтобы опять послали на тренинг  или плохо, чтобы не послали больше, не отвлекали от работы
Сам по себе сбор информации очень трудоемок и не вызывает оптимизма у hr-менеджера

Идеальный вариант

 результат тренинга в цифрах: мы посмотрели продажи за прошлый период, посмотрели за период после тренинга и сравнили
Проблема в «очищении эффекта»: как отделить другие факторы от влияния тренинга? Сезонность, местоположение точки продаж, тренды спроса и т.п..
И просто здравый смысл: неужто один тренинг может оказать сильное влияние на уровень продаж?

Нелинейная оценка эффективности корпоративного обучения

Нелинейная оценка эффективности корпоративного обучения базируется на двух принципах:
  1. Измеряем ЛЮБЫЕ изменения после тренинга
  2. Встраиваем  тренинг в более широкую систему оценки эффективности

Изменения

Самым распрекрасным инструментом измерения поведения в данном случае является корпоративный портал / корпоративная социальная сеть.
Этот инструмент позволяет нам
оптимизировать наши затраты на сбор информации
делает информацию объективной, т.е. независимой от субъективного пристрастия например линейного руководителя данного менеджера
Какая информация обирается? ЛЮБАЯ. Главный параметр – изменение в сравнении с до тренинговым периодом. Например, время, проведенное на портале.
Или время, проводимое на работе после тренинга. Или стал ли уходить сотрудник позже с работы после тренинга. Или раньше.
Самый банальный критерий – активность в форуме тренинга, т.е. вы создаете тему форума «Тренинг продаж», где предлагаете участникам
  • Делиться впечатлениями и отзывами;
  • Задавать вопросы тренеру;
  • Писать отчеты в блогах;
  • Давать описание примененным навыкам на практике.
  • И т.п..

И т.п.. может быть самым интересным. Например:
Количество служебных перемещений в течение полугода / года после тренинга среди групп участников и контрольной группы (в т.ч. увольнений)
И далее вы включаете любую свою самую смелую фантазию…

Система оценки

Собственно измерение изменений – это просто пилотное исследование по отношению к более высокому уровню измерений.
Идеальная цель – получить уравнение зависимости между участия в тренинге и бизнес результатами.
В качестве зависимой переменной у вас всегда остается какой-либо бизнес результат:
  • Уровень продаж,
  • Продажи через лояльных клиентов;
  • Количество клиентов;
  • Производительность труда;
  • Скорость закрытия вакансий;
Но глобально мы имеем спектр более широких возможностей. Например, как уже было сказано, в качестве зависимой переменной у нас может выступить % уволившихся после тренинга. И получите вывод, что тренинг был причиной увольнений.
Или, вы можете найти корреляцию между предсказаниями тренера и последующими результатами. И подтвердите тренерские скилсы, как вариант.
Чисто технически данные выглядят как набор данных в excel, где в колонках переменные.
Если у вас есть гипотезы – вы проверяете их, сравнивая отдельные переменные между собой, или комплексы переменных.
Если нет переменных, можно заниматься тупым перебором.
Или начать с простого корреляционного анализа, который покажет сразу все корреляции. И даже при наличии номинативных переменных картинка может быть показательной.
Кроме того, переменная, которая в одном уравнении является зависимой, в другом уравнении станет сама влияющей…
В этом и есть смысл нелинейности оценки эффективности обучения:
Вы не можете наперед сказать, что будет следствием, а что причиной, что зависимой, а что влияющей величиной.

О компетенциях специалиста

Конечно, 95 % hr прочитают и скажут, что это для них, поскольку требует много времени или требует много времени на освоение, или у них нет такого специалиста, или они сами не готовы осваивать этот инструмент
Какие нужны скилсы?
К этому всему специалисту необходимы две вещи:
  • Умение работать в excel + знание статистических инструментов (критерии Манн Уитни, Хи квадрат, коэффициенты Корреляции, многомерное шкалирование, регрессионный анализ и т.п..)
  • Умение придумывать гипотезы, ставить задачи (фантазия)

Как показывает практика, даже если в компании есть спец по статистике, внутренний заказчик не умеет ставить задачу: а чего он собственно хочет получить?

Диагностика

Если Вам пост показался водянистым, ни о чем, если вы ждали готовых решений, а вам ничего не показали, то не беритесь за внедрение нелинейного подхода в оценке эффективности корпоративного обучения.
Риски внедрения подхода в отсутствии готовых решений, преимущество: получаемый кайф от решения постоянно уникальных задач.

Резюме

И помните Лао-Цзы
Настоящий путешественник не планирует маршрут и никуда не намеревается попасть
Или приходите на мой семинар Аналитика для HR

4 комментария:

  1. О компетенциях специалиста
    Конечно, 95 % hr прочитают и скажут, что это для них, поскольку требует много времени или требует много времени на освоение, или у них нет такого специалиста, или они сами не готовы осваивать этот инструмент
    Какие нужны скилсы?
    К этому всему специалисту необходимы две вещи:
    Умение работать в excel + знание статистических инструментов (критерии Манн Уитни, Хи квадрат, коэффициенты Корреляции, многомерное шкалирование, регрессионный анализ и т.п..)
    Умение придумывать гипотезы, ставить задачи (фантазия)

    за это отдельный респект - кратко и в точку по заполнению анкет если цель озвучить прямую тоже все в точку - без личного бонуса за заполнение анкет вообще никто не берется ........

    по оценке :)
    Линейный подход
    Линейный подход в обучении заключается в измерении по оси «цель – результаты»
    она не линейна - это обманка как для Руководителей так и для HR работников. На самом деле она намного более многомерная.
    По одной шкале можно мерить только если ДОГОВОРИЛИСЬ С ГД И ТОПАМИ, что остальным пренебрегаем, и как только они вспоминают другие критерии - ткнуть носом в договор. И тут же от них услышать давайте вносить изменения в критерии измерения.

    Обобщенный минимум шкал для измерения:
    «Оценка процесса» – оценка эффективности обучения строится на основе оценочных действий по сравнению сегодняшних достижений с прежними. Динамика изменений, происходящих непосредственно с индивидуумом.
    «Оценка цели» – оценка строится на основе сравнения достижения внутренне ожидаемых целей обучения в плане приобретения новых, качественных знаний, их практической применимости в повседневной работе и фактически приобретенных знаний.
    «Оценка удовлетворенности» – оценка обучения осуществляется с точки зрения интереса и удовлетворенности участием в обучающем процессе или организацией процесса обучения.
    «Оценка результата» – эффективность обучения включает оценочные действия сравнения экономических, статусных и др. показателей, обусловленных проводимым обучением. Осуществляется оценка достигнутого результата по социально значимым параметрам: производительность труда, статус, повышение зарплаты.
    И есть еще одна страшная шкала оценки СООТВЕТСТВИИ УСТАНОВЛЕННЫМ НОРМАМ /и что бы не было если нет принятия нормы установленной в компании не допустят к проведению и заклеймят/.
    Исходя из шкал, а они найдены при помощи факторного анализа на статистически значимой выборке руководителей и топ менеджеров, видно, что в посте идет сдвижка с критериев одной шкалы на другую. Без четкого отнесения оценки к шкалам будет путаница. Так что же мы мерить будем - изменения или достижение цели.
    А внутренне изменения работника и производительность это разные показатели.
    Зная точно что измеряем, можно ХИ квадратом или корреляцией.....

    На счет портала считаю тоже самый эффективный инструмент. Вот активность на форуме и портале не однозначный критерий.
    Для оценок «процесса» и «цели» подойдет, а вот «Оценка результата» нет, тут как раз и объем продаж и кол-во и качество клиентов только можно применять.
    Если заумно сори, но считаю молотком мерить длину стола конечно можно, но правильнее молотком гвозди бить, а мерить - рулеткой.
    А просто давайте мерить анкетой в 3-5 вопросов и тестом - можно и дальше но 21 век уже а мы инструментарием 19 пытаемся научить HR пользоваться. Еще веселее компетенции мерить 1 тестом Кеттела, что в сети можно найти на электростанциях. Бред и средневековье.....
    Думаю надо идти по пути IT шников - разработали продукт коробочный и пользуйтесь. Время 90х изобретения велосипедов проходит. И надо делить в отрасли загрузку, кто то придумывает, кто то пользуется - не дают денег или сам -хочет - не хай разрабатывает, если сможет.
    По поводу Результатов - продажи поднялись, так, сезонность она есть, была и будет, изменение продукта - так же. И если не хочет ГД себе медаль повесить за счет других, то он точно знает, что других изменений кроме обучения не делал и ресурсы не добавлял и в компании в 5 - 5000 чел.

    ОтветитьУдалить
    Ответы
    1. я отвечу только по одному поинту
      "Вот активность на форуме и портале не однозначный критерий"
      в том то и фишка, что у нас нет ни одного однозначного критерия
      я предлагаю лишь переменные уравнения, а расчет в уравнении покажет, что однозначно, а что .. тоже однозначно)

      Удалить
  2. Если говорить о зависимой переменной, то это могут быть -
    1) бизнес показатели типа продаж
    2) оценки экспертов
    2.1. руководители
    2.2. коллеги
    2.3. клиенты

    что еще?

    ОтветитьУдалить

рек