Перевод статьи How to A/B Your L&D

автор - Dr. Eli Bendet-Taicher, PhD, Global Learning & Development Executive | Leadership, Mentorship, Science, Engineering & Data Through Storytelling

Читайте в тему:

1. Анализ полезности обучения - реальный кейс HR-аналитика из Нидерландов и более реалистичный, чем данная статья. 
2. HR-аналитика и научный метод - автор статьи Max Blumberg, он пишет о том же A / B тестинге, правда приводит кейс из c&b 
3. 10 hr-метрик обучения сотрудников, которые вы должны знать - ну и до кучи, куда же без метрик
4. Оценка эффективности тренинга - видео, как проводить такой математический анализ 

Как провести A/B тест в L&D

Как бывший ученый, я использовал тестирование, чтобы подтвердить или опровергнуть свои теории, и полагался на результаты, чтобы принимать научные решения в своих экспериментах в лаборатории. В каждом тесте была экспериментальная группа по сравнению с контрольной для проведения и сравнения результатов. Эта концепция параллельна тому, что мы знаем сегодня в технологической индустрии как A / B-тестирование.

Когда вы думаете об A / B-тестировании, вы не сразу думаете о том, чтобы провести его в L&D. Но в сегодняшнем мире экспериментирование и анализ данных важны не только в научных или информационных отделах, таких как маркетинг, они ценны везде ... даже в самых неожиданных местах, таких как обучение и развитие.

Я считаю, что работа с данными является обязательной, независимо от области знаний, отдела или компании, в которой вы работаете. Соответствующие данные A / B-тестирования должны лежать в основе всех бизнес-решений, организационных или командных целей и ключевых показателей эффективности. Но как на самом деле спланировать хороший A / B-тест в L&D?

ROI & поддержка

Во-первых, давайте начнем с того, почему A / B-тестирование так важно в L&D. Как специалист по обучению и развитию, я могу сказать, что очень сложно показать окупаемость инвестиций (ROI) в то, что мы делаем. Многим профессионалам в области образования трудно показать рентабельность инвестиций и им сложно оправдать свое существование, поскольку у них нет возможности продемонстрировать руководству достоверные данные об обучении и обучении. Когда компания не видит жестких результатов, это приводит к жестким (и, возможно, необоснованным) решениям, таким как сокращение бюджета на обучение и развитие и сокращение численности персонала. Эта тенденция усиливается во время сложных финансовых ситуаций - то, что мы наблюдаем сейчас, во время Covid-19.

Тем не менее ... возможно, это не их вина, а наша! Демонстрация влияния того, что мы делаем, с помощью прямых и косвенных доходов имеет решающее значение для получения поддержки руководства и имеет важное значение для успеха наших ролей. Так как же нам получить эту поддержку? Как мы убедим руководителя отдела продаж, что потратить 4 часа рабочего времени их команды на обучение более выгодно в долгосрочной перспективе, чем потратить эти 4 часа на продажу?

A / B-тест

Несколько лет назад я присоединился к компании, которая пыталась включить L&D в свою организацию. Когда меня приняли на работу, я столкнулся с ситуацией, когда менеджерам было трудно доверять моему видению и стратегии, поскольку они скептически относились к ценности, которую L&D может принести их командам.

После нескольких недель исследований и копаний я смог создать структуру и несколько инициатив L&D, направленных на улучшение и масштабирование работы отдела продаж. Но, учитывая отношение к L&D, я столкнулся с множеством проблем с получением ресурсов и времени сотрудников для обучения. Фактически, руководитель отдела продаж считал, что это пустая трата времени, и команда должна сосредоточиться на продажах и ни на чем другом.

Как L&D профессионалы, мы должны проявлять особый творческий подход и иногда пробовать нестандартный подход. Я думал о создании A / B-теста в качестве доказательства концепции (POC) для новой стратегии обучения выходу на рынок для всех глобальных команд продаж. Мы создали две группы (A&B), которые будут сравниваться с точки зрения производительности, эффективности и производительности на протяжении всего эксперимента и целого квартала после него. Команда А взяла мою новую программу тренировок, а команда Б (контрольная группа) - нет. Мы выбрали группы одинакового размера, которые продавали один и тот же продукт аналогичным клиентам и имели сопоставимые показатели продаж. Таким образом, обе команды имели (почти) одинаковую отправную точку и равные возможности для продаж. В следующем квартале мы наблюдали за каждой командой, чтобы сравнить производительность и выручку.

Результаты

В следующем квартале после A / B-теста команда A продала в на треть больше, чем команда B. Цифры не лгут, и дело в том, что команда A не только продала на треть больше, чем контрольная группа, но и продала больше, чем они продана в предыдущем квартале. Удивительно! Но подождите, как мы могли быть уверены в том, что именно тренировка привела к успеху команды А? Могли быть другие причины, например, у команды А был лучший менеджер или, может быть, у нее был более сильный талант? Насколько тренировка повлияла на улучшение результатов? Вот почему мы собрали эти данные:

Пункт данных №1: мы сравнили результаты обеих команд за квартал, предшествующий началу обучения. Это показало, что команда B фактически продала больше, чем команда A, примерно на 10%.

Точка данных №2: через квартал после тренинга мы попросили команду А расположить факторы, способствовавшие их квартальному успеху, в порядке важности. Факторы были:

• Мой менеджер
• Мои товарищи по команде
• Внешние ресурсы
• Обучение и инструменты

Более 85% команды оценили полученное обучение как фактор №1, который способствовал их успеху в продажах!

Если честно, я был в восторге. Единственный недостаток - генеральный директор был разочарован тем, что обучение прошли не ВСЕ команды продаж :) Возможно, в этом квартале продажи выросли еще больше ... но, по крайней мере, я доказал свою точку зрения и получил необходимую поддержку. . После этого все менеджеры по продажам сделали программы L&D обязательными! У-у-у.

С этого дня я всегда собирал самые актуальные данные, чтобы помочь мне поделиться историей успеха. Моя цель - не только показать рентабельность инвестиций, но и показатель возврата ожиданий (Return of Expectations - ROE) для проектов, для которых сложнее рассчитать точную рентабельность инвестиций.

Еще один крутой L&D тест

Недавно моя команда предложила провести новый тренинг, чтобы почти вдвое сократить время отклика службы поддержки! Итак, еще раз ... мы провели A / B-тестирование перед тем, как представить его всему глобальному отделу поддержки.

Мы взяли две группы групп поддержки (одинаковый размер, одинаковые среднесуточные взаимодействия на одного агента). Команда A получила новое предложенное обучение, а команда B - контрольная группа - нет. Мы наблюдали за двумя группами в течение месяца после того, как команда А прошла обучение, и сравнили их средние ежедневные взаимодействия с клиентами.

Каково же удивление, мы увидели, что среднее ежедневное взаимодействие команды А с клиентами было на 1,9 выше, чем за месяц до тренинга. Кроме того, в последующем опросе команда А согласилась с 90% -ным консенсусом в том, что их повышение производительности связано с полученным обучением.

В этом случае мы также можем легко рассчитать рентабельность инвестиций этой программы. Мы инвестировали в:

1. Время и ресурсы для создания тренинга (рабочее время, инструменты, время тренеров и т. Д.)
2. Время обучения (количество часов обучения x количество обученных сотрудников x средняя заработная плата)

А что мы получили взамен? Производительность увеличилась почти в 2 раза, что можно исчислить в долларах и показать ROI в долгосрочной перспективе.

Помимо доходов, мы также собрали дополнительные данные, основанные на ожиданиях заинтересованных сторон, таких как количество уволенных клиентов, конверсии, время разговора с потенциальными клиентами и многое другое.

Лучшие практики A / B-тестирования

Так что же делает A / B-тест для программы L&D хорошим? Вот мои рекомендации:

1. Определите цель вашей учебной программы и то, что вы пытаетесь улучшить или изменить. Кроме того, сформулируйте ценность, которую эта программа принесет в долгосрочной перспективе.
2. Попробуйте рассчитать ожидаемую рентабельность инвестиций - сколько денег вам нужно будет инвестировать и сколько денег вы получите взамен на повышение производительности / производительности. Рассчитайте результаты A / B-теста и спроецируйте влияние запуска на все команды по всему миру.
3. A / B-тест с небольшими (но достаточными, чтобы показать тенденцию) группами. Ваши экспериментальные и контрольные группы должны иметь схожие показатели (размер, производительность, рынок и т. Д.). Таким образом, у вас может быть POC с небольшими ресурсами, которые можно легко утвердить. Покажите потенциал, прежде чем запускать дорогостоящую программу, и заручитесь доверием, продемонстрировав, что ваша программа принесет окупаемость инвестиций и долгосрочную ценность.
4. Убедитесь, что вы можете доказать, что экспериментальная группа может приписать свою (надеюсь, лучшую) производительность обучению, а не обязательно другим факторам (например, их менеджеру, доступу к дополнительным ресурсам и т. Д.). Используйте простой опросный пост в период наблюдения.
5. Собирайте правильные данные, которые соответствуют ожиданиям заинтересованных сторон и повестке дня учебной программы. Например, как вы измеряете ожидаемое изменение поведения экспериментальной группы после тренировки?

Данные, которые вам нужно собрать

Моя история - это пример того, как данные работают на вас. Есть множество точек данных, которые мы можем использовать в L&D. Я собираюсь сослаться на хорошо известную модель L&D, Модель Киркпатрика, чтобы помочь разбить типы данных, которые нужно собирать, и как.

Перед запуском любой программы L&D вы всегда должны стремиться к сбору собственных данных, то есть данных, которыми вы уже владеете. Это может быть:

Данные, которые помогут оценить первый уровень модели Киркпатрика:

Реакция (удовольствие, заинтересованность и удовлетворенность учащегося):

• Опросы учащихся
• Показатели завершенности (завершенные уникальные учебные модули или завершенные курсы)
• Время, потраченное на тренировки и когда в течение дня
• Видео аналитика
• Оценка второго уровня в модели Киркпатрика:

Обучение (что узнали и достигли учащиеся)

• Оценка навыков до и после
• Тесты / задания
• Интерактивные занятия - ролевые игры / видеозадания 

Первый и второй уровни данных должны легко собираться и измеряться с помощью вашей LMS, LXP или видеоплатформ.

Следующие два уровня, описанные в модели Киркпатрика, ориентированы на изменение поведения и результаты, которые сложнее владеть отделами L&D, и нам нужно полагаться на помощь других отделов (например, HR, BI / BA, Финансы и QA).

Собрать данные об изменении поведения немного сложнее, но мы все же можем оценить это с помощью:

• Реальные тематические исследования
• Индивидуальная производительность и эффективность подразделений - вы можете проводить собеседования с менеджерами, рассчитывать эффективность, получать доступ к обзорам эффективности HR и т. Д.
• Достижение индивидуальных и ведомственных КПЭ
• ROE

Резюме

A / B-тестирование в программах обучения и развития имеет много преимуществ:

• Экономичный метод, чтобы доказать успех предложенной программы, прежде чем тратить время и деньги на более масштабное предложение.
• Может помочь улучшить предлагаемые программы и внести правильные исправления и настройки перед запуском масштабной программы.
• Помогает получить очень желаемую поддержку со стороны менеджеров и руководства для запуска предлагаемых программ обучения для своих команд. Кроме того, это имеет большое значение для создания здоровой и позитивной культуры обучения в организации.
• Показывает ценность, которую отдел L&D приносит организации в виде прямых и косвенных доходов.

Хороший A / B-тест должен:

• Простым
• Иметь четкую повестку дня и ожидания
• Точные измерения с правильным набором данных, которые необходимо собрать
• Быть легко сопоставимым с контрольной группой
• Покажите четкую корреляцию между программой тренировок и сопоставимой
• Показать значение в масштабе (ROI или ROE)
• Теперь все, что вам нужно сделать, это запустить A / B-тестирование перед запуском следующей учебной программы.