В рамках подготовки к вебинару Что такое BigData в HR? стал перебирать презентации Джоша Берзина и наткнулся в одной из презентаций на очень интересный слайд
Даю вольный перевод поинтов
Ловушка измерения ROI
Удачи вам в оценке эффективности обучения!
Ловушка измерения ROI
- Компании, которые пытаются измерять у себя ROI своих учебных программ, оказывают себе "медвежью услугу"
- Концепция ROI предполагает, что расходы есть дискреционные инвестиции, которые прямо окупят себя через несколько лет.
- Продвигая ROI, вы значительно занижаете ценность тренингов и обучения
- «Затачивая» организацию под измерение ROI в лучшем случае, что вы делаете, вы помогаете улучшать отдельные элементы программы.
- Кто-нибудь когда-нибудь просила вас вычислить ROI вашей почтовой системы?
О нелинейных методах оценки эффективности обучения
ЦитатаЛинейный подход
Линейный подход в обучении заключается в измерении по оси «цель – результаты»
Т.е. если мы планируем получить навыки переговоров, то мы должны отследить у участников после тренинга.
Проблемы
Часто цели поставлены так, что их просто не измеришь. Беру пример из обсуждения в группе на Линкедин, "реализуемое передовыми методами развития персонала" или "на базе лучших образцов отечественного и зарубежного опыта"
Второй блок проблем связан с измерением
• Анкета обратной связи непонятно, что измеряет, и непонятно, куда ее встраивать
• Тест под отдельный тренинг не всегда создашь, и тренеры часто не готовы их создавать
• Линейный руководитель заполняет анкету HR и ставит галочки с потолка, лишь бы отвязались. И его галочки зависят чаще не от реального поведения сотрудника, а 1) лишь бы отзывались 2) напишу хорошо, чтобы не ссориться с кадровиками 3) напишу хорошо, чтобы опять послали на тренинг или плохо, чтобы не послали больше, не отвлекали от работы
Сам по себе сбор информации очень трудоемок и не вызывает оптимизма у hr-менеджера
Идеальный вариант
результат тренинга в цифрах: мы посмотрели продажи за прошлый период, посмотрели за период после тренинга и сравнили
Проблема в «очищении эффекта»: как отделить другие факторы от влияния тренинга? Сезонность, местоположение точки продаж, тренды спроса и т.п..
И просто здравый смысл: неужто один тренинг может оказать сильное влияние на уровень продаж?
Зачем нужна модель Киркпатрика
ЦитатаКогда речь заходит о практическом применении модели Киркпатрика, то HR-ы обычно говорят: мы оцениваем первый уровень… а мы уже второй… а мы еще и третий…
В этот момент хочется тупо спросить: …и?
Что такое первый уровень модели Кирпатрика? Это анкеты обратной связи после тренингов. Собрали, посчитали среднее, сказали начальнику, начальник недовольно поморщился, потому что ему эта информация не уперлась никуда, и мы дружно забыли… Поставив галку в памяти: измеряем первый уровень.
Что такое второй уровень модели киркпатрика? Это тестики, которые мы и наши спецы варганим и даем участникам тренингов. Чаще они вопросов на 15-20, это уже прорыв, если мы такое делаем, но прежнему: и что???
Как мы используем получаемую информацию? Чаще никак! Зато как в трансе упоминаем про модель Киркпатрика.
Резюме
И самое главное, что мы не только критикуем, но еще и предлагаем решения. Но в отличие от ROI, Модели киркпатрика эти решения не такие простые, очевидные, они требуют не тупого следования инструкциям, а самостоятельного применения своих мозгов.Удачи вам в оценке эффективности обучения!
Эдуард, думаю идея с измерением ROI обучения идет не от HR. Последние как раз хорошо понимают важность нефинансовых результатов обучения. Но бал правят экономисты-финансисты, требующие измеряемой (причем именно их, финансовыми, средствами) отдачи на вложенные ресурсы. И да, ROI от внедрения почтовой системы или другого тоже приходится считать :(
ОтветитьУдалитьАлексей, вы принципиально правы, но! я ни разу на рынке не встречал ни одного семинара, который бы финансист проводил для HR по Roi
Удалитьэти семинары ведут братья консалтеры, и что самое интересное, я в своей практике запомнил только то, что именно HR-ы выступали за внедрение технологий ROI в оценку эффективности конкретных тренингов
А HR-ы конечно видят в тренингах далеко не только экономическую составляющую, но опять же: для них эта составляющая повод обосновать собственное бессилие обосновать эффективность обучения
обобщаю собственный и не собственный опыт)
> А HR-ы конечно видят в тренингах далеко не только экономическую составляющую, но опять же: для них эта составляющая повод обосновать собственное бессилие обосновать эффективность обучения
УдалитьВот очень с этим согласен. По моему, получилось примерно так - HRы, всегда бывшие на вторых ролях и мечтавшие о роли "бизнес-партнеров" (что-то я не встречал статей о том, что финансисту надо стать "партнером" бизнеса - так как он этим бизнесом всегда и рулил), не смогли в массе своей найти своего собственного профессионального инструмента для обоснования своей важности - и стали прогинаться под ROI со всеми вытекающими.
Ну а консалтеры... Что ж не консалтить, если клиент платит...
Есть, конечно, такая штука как Balanced Scorecards - но по опыту обучения-консалтинга менеджеров (как принято сейчас говорить, уровня "ТОП минус один и ниже" - очень тяжело воспринимается сама идея измерения достижений чем-либо кроме финансового результата и производных (ROI и пресловутая EBITDA - наше всё).
а чем плоха идея измерять все в деньгах?
Удалитьэто же бизнес. В чем, если не в деньгах?
По моему, изобретение BSC позволило осознать, что инвестиции в персонал деньгами не измеришь, но под правильные цели конечно заточить надо
ОтветитьУдалитьВладислав, если не деньгами, что чем?
Удалить1. Первый вопрос - зачем, оценивать?
ОтветитьУдалить2. Все-таки, что Вы хотите измерить, отсюда и мера? Т.е. конечно можно получить денежную оценку - вложили 5 золотых, в длинноносого парня и что ? Хотите прикинуть вес золотого ключика который он найдет?
3. На мой взгляд, вполне достаточно констатации, что цели для которых проводились инвестиции в персонал, достигнуты
Владислав, вы упомянули про правильные цели. Приведите пожалуйста пример правильных целей, я пока не понимаю, о чем речь
УдалитьЭдуард, может я поставил акцент на "правильных", имея ввиду, что трудно только благодаря обучению персонала повысить продажи в два раза, нужно как минимум и увеличить мощности... но есть набор целей в BSC, к примеру в проекции "Обучение и рост" или "Бизнес-процессы и Персонал", которые нужно достигнуть, только благодаря тренингам.
УдалитьСтепень достижения целей вот мера.
Вторая мера - удовлетворенность внутреннего клиента.
Не называю конкретных - это имеет мало смысла. Может быть если бы мы обсуждали конкретный тренинг и контекст в котором возникла в нем надобность - то могли декомпозировать до целей.
Достижение целей - нижнего уровня - запускает или позволяет усовершенствовать всю систему работы и управления, а в деньгах, даже при детальнейшем факторном анализе выявить эффект именно обучения будет трудно (ну допустим при больших массивах данных можно), но... нужно ли?
вот здесь я с вами согласен, но это лишь говорит, что у нас уравнение становится не двух ходовым как в ROI, а многочленным
УдалитьИ вопрос тогда ставится так: ROI - это примитивизация оценки эффективности
Это неспособность решать сложные многофакторные уравнения
в случае со сложными уравнениями у нас обучение становится лишь одним из факторов влияния на продажи, но и не только на продажи - на другие факторы, которые также влияют на бизнес показатели
уравнение усложняется, но оно более соотвествует реальности
Да конечно, согласен с Вами. И главное "...не все простое - гениально", деньги конечно распространенная мера, эквивалент обмена, но в сложном, реально сложном мире проявляются другие ключевые - системные показатели и их значение не менее важно, чем деньги. У нас принято ругать, опыт запада - культ золотого тельца и потребительства, но нельзя отмести примеры блестящего, менеджмента, как в бестселлерах "В поисках совершенства" или "От хорошего к великому", насколько там показательно объясняется, что бизнес не для денег, а для людей, а деньги - вода, но плохое перенимается быстрее.
УдалитьЭдуард, полностью согласна с Вашей оценкой. А вот с мнением, А.Кalmykov, в корне не согласна:
ОтветитьУдалить"А HR-ы конечно видят в тренингах далеко не только экономическую составляющую, но опять же: для них эта составляющая повод обосновать собственное бессилие обосновать эффективность обучения"
Многие HR-Ы могут обосновать эффективность обучения и, с т.з. экономики, и с т.з. влияния на лояльность персонала. НО, вот только, зачастую руководители компании смотрят только на экономические показатели (но, правильно др. авторы заметили что измерять, и как измерять). Человек многранен, и к оценке необходимо подходить системно. Бизнес существует для получения прибыли, но вот только "прибыль ради прибыли" мы знаем к чему приводит.
И 2-я ваша цитата: "Ну а консалтеры... Что ж не консалтить, если клиент платит..." Позвольте в корне с Вами не согласиться! Консалтеры, начинают как раз с предложения качественного продукта, и готовы отвечать за конечный результат, но есть ряд факторов, когда клиент не готов следовать рекомендациям и плану консультатов, и, как правило, не готовность связана с личностью первого лица. Вот только тогда и получается "за Ваши деньги, любой каприз".
Когда руководитель, хочет изменений, он должен понимать, что все изменения начинаются с него! Изменить личность, возможно только ЛИЧНОСТИ!
Так же и с оценкой эффективности обучения, на данный вопрос надо смотреть системно! Коллеги, вы зрите в корень проблемы, но у меня вопрос: "А надо ли это все руководителям? С моей т.з. два подхода: управленческий и профессиональный. Управленческий - это реальные финансовые выгоды. И здесь все аргументы хороши, кто будет убедительней, тот и победил! Профессиональный - это обязательно система показателей, оценивающая результативность обучения. Когда пересечение у этих подходов станет больше, тогда и результат обучения будет выше; и подходы к оценке обучения и у руководителей и HR-ов будут совпадать.