Метрики обучения и бизнес-результаты

Летом этого года я переводила статью наших западных коллег "Что такое HR-dashboard и HR-отчет? Примеры, визуализации и советы как это сделать." В статье много упоминаний про наши hr-метрики, но когда я решилась на перевод этой статьи для меня главным стало то, что они использовали для своих целей Power BI.
В тот момент времени, да и сейчас тоже, я активно занималась/юсь внедрением HR отчетности/дашбордов в нашей компании (отчетность это не единственное направление, в котором HR в моей компании использует данные, но сейчас пока не об этом). Как один из вариантов реализации мы пробуем использовать для этого Power BI. Этот инструмент ранее никогда не рассматривался нами как целевое решение для hr-отчетности. В самом начале я использовала этот продукт от Microsoft скорее для себя - уж очень удобно, быстро и в чем-то красиво в нем можно обрабатывать данные (в том числе с использованием кодов на R, а с августа этого года на python 😊 ). Я много лет использовала в работе надстройку Power Pivot и Power Query для excel + R-studio для статистического анализа данных, поэтому для меня переход на новый продукт занял буквально пару дней. Несколько раз я показывала своим коллегам результаты со своего ноутбука - на бесплатной desktop-ной версии от MicroSoft. За очень короткое время стало понятно, что с этим инструментом можно сделать многое.
После перевода западной статьи в телеграмм-канале был проведен опрос - а какие дашборды вам интересно было бы посмотреть. И лидером стал вариант "Обучение и связь с бизнес-результатами". Ниже простой пример

Коротко о картинке выше. Это данные по выполнению планов продаж и обучению (что когда и с кем было пройдено) в разрезе каждого сотрудника согласно выбранным фильтрам. Хочу отметить следующее:

1. Можно не тратить место на дашборде на легенду, а добавить ее в виде всплывающей подсказки. Например так:
2. Аналогичным образом можно добавить любую информацию сразу сюда - в виде всплывающих подсказок. Ведь часто конечному пользователю неудобно переключаться между разными отчетами, чтобы получить дополнительную информацию.
3. Отчет полностью интерактивный - выбор одного элемента приводит к автоматической фильтрации всего остального. Хотя тут хочу отметить - такое поведение регулируемое и зависит от ваших требований и знаний того, кто это реализует.

Мы сейчас в процессе разработки, но итоговое решение уже понятно. Многое испробовано, что-то отвергнуто, но что-то оказалось интересным и сейчас будет тиражироваться на многих. Не утверждаю в настоящий момент, что в тираж пойдет именно решение на Power BI (особенности компании), но утверждаю одно - именно с помощью этого инструмента мы смогли очень быстро создать что-то, что уже имеет минимальную ценность для клиента - мы посмотрели на все это вместе - на обучение и на наши самые важные KPI.
Для создания единых дашбордов, а уж тем более для аналитических исследований, одним из самых важных шагов было и будет корректно увязывать ваши программы обучения и данные бизнеса и/или финансов (например все те же KPI). Тут по идее должно быть понятно, если мы учим человека продавать, то связывать этот вид обучения с, например, количеством ошибок при заведении данных более чем странно. Тут как раз хочется сказать об интегральных KPI, если они единственное, что оказалось в вашем распоряжении. Если они учитывают результаты нескольких разных "активностей" с определенными весами, то возможно у вас будут трудности с поиском явных взаимосвязей.
Помимо достаточно популярных и известных бизнесовых данных можно использовать и другие данные в вашей компании. Например, если вы учите сотрудников пользоваться определенным ПО, то можно поискать связь между этими курсами и, например, обращениями на help desk с вопросами по этому же ПО. И конечно, в случае управленческого обучения грех не воспользоваться нашими родными источниками информации - текучестью по собственному желанию, оценкой 360, опросами по вовлеченности и т.д. и т.п.

Напоследок решила перенять у западных коллег одну вещь и привести тут список метрик по обучению из моей коллекции. Естественно, я не претендую на то, что этот список полный и единственно верный, просто когда мне что-нибудь кажется потенциально полезным, я это складываю в свой файлик. Из серии будем жениться - все пригодиться :-) И может он будет полезным кому-то еще. Понятно, что считать все эти метрики абсолютно не стоит и лучше выбрать только самые нужные в этот момент для вашей компании. Но полезно ваш список используемых показателей иногда  пересматривать. Правда еще раз напоминаю, что есть нюанс - если ваши обучающие программы и задачи бизнеса никак не увязаны между собой, то вы никогда не увидите это, только используя метрики, как бы интересно они не выглядели. Хоть как их препарируйте - смотрите в целом, в динамике, в разрезе подразделений и может даже людей - пользы мало, затраченных на их расчет усилий много.

Метрики, применимые как для очного , так и on-line обучения

количество заявок на обучение

уникальное количество сотрудников, фактически прошедших обучение

общее количество сотрудников,  фактически прошедших обучение

доля сотрудников, закончивших обучение, от общего количества поданных заявок

доля обученных от ССЧ

Дополнительно для очного обучения

общее число тренинговых часов в аудитории

среднее время тренинговых часов на сотрудника

доля времени на обучение от общего фонда рабочего времени

Дополнительно для on - line курсов

воронка прохождения по модулям курса

среднее время, потраченное на завершение курса

количество активных (не законченных) курсов

Стоимость

общие расходы на обучение

отклонение фактических расходов на обучение от плановых

средняя стоимость обучения 1-го сотрудника

средняя стоимость тренингового часа

количество запросов на компенсацию обучения

Learning Experience

средняя оценка качества обучающих материалов

средняя оценка соответствия программы ожиданиям

средняя оценка преподавателя

Оценка эффективности (частично, пока без бизнес-показателей)

доля сдаших тест по итогам обучения

изменение среднего балла теста до обучения и после

среднее время прохождения теста

Преподаватель

доля времени на полевое сопровождение от фактически отработанного им времени

доля очных тренинговых часов от фактически отработанного им времени

среднее количество участников на 1-го преподавателя в месяц

Программы

общее количество новых программ

общее количество обучающих on-line программ

общее количество обучающих очных программ

среднее время разработки и запуска новой программы

Аудитория

доля заполнения аудиторий в учебных центрах (% занятых мест от максимально возможного количества)

доля времени, когда аудитории в учебных центрах не использовались вообще, от максимально возможного времени их использования

Развитие карьеры

доля сотрудников с индивидуальными планами

Общее (сложно отнести к какой-то одной категории выше)

соотношение on-line обучения и очного обучения

общий фонд рабочего времени обученных сотрудников

общий фонд рабочего времени ВСЕХ сотрудников

Отчетность и дашборды это только начало использования данных в вашей компании. Согласна с авторами статьи, которую переводила летом - реальная ценность извлекается с помощью иных инструментов (например все те же R и python) и других знаний (мат. статистика, машинное обучение). И что мне как раз очень понравилось в Power BI - это возможность использовать R и, естественно, знания! Мой коллега недавно опубликовал пост, где как раз на одном примере показал, как это работает
Компетенции. Кластеризация. Подход №1 (Технический) – как это сделать с помощью R & Power BI.

И напоследок хочется отметить одно правило - не бывает универсальных дашбордов и/или отчетов. Не пытайтесь запихнуть все в одно и показывать пользователям разного уровня принятия решений одну, пусть и супер красивую картинку. Не прокатит 😊

P. S. Ищу человека в нашу команду!!! Команда маленькая, но уже успела отметиться на многих фронтах. Если вы готовы обучаться и использовать все выше перечисленное на практике - сигнализируйте. Я не всегда оперативно отвечаю на свою почту (lu2_rogova@mail.ru), но Эдуард согласился помочь. Все резюме будут точно прочитаны тут edvb@yandex.ru. Новые скилы, опыт и драйв от работы гарантирую. Спасибо Эдуарду за помощь!