* Видео я записал позднее, уже в начале февраля 2018 года - даю для введение в ситуацию
Прочитал Российский стандарт центра оценки, хотел бы дать несколько комментариев к нему и задать несколько вопросов к разработчикам документа.
У документа, как я понимаю, два пласта: политический и содержательный. С политическим все понятно, мне это не интересно, но разработчики претендуют на то, что Российский стандарт центра оценки имеет содержательную ценность. После общения с несколькими консультантами по оценке я решил таки прочитать Стандарт, после чего у меня возникли вопросы: вопросы технические, даже процедурные. Вопросы, которые на мой взгляд и определяют содержательную ценность документа.
Сам Российский стандарт центра оценки цитирую по публикации в журнале Организационная психология. Там же указана рабочая группа по созданию стандарта центра оценки , поэтому обращаюсь я поименнок участникам данной группы. Готов опубликовать ответ любого из авторов Стандарта у себя в блоге, готов к публичному диалогу.
Список рабочей группы:
- Евгений Вучетич (EXECT Partners Group)
- Дмитрий Гофман (Axes Management)
- Александр Ерофеев (МГУ, Assessment Center LASPI)
- Евгений Лурье (ЭКОПСИ Консалтинг)
- Мария Мальцева (DDI)
- Юрий Михеев (ГК «Институт Тренинга – АРБ Про»)
- Юлия Полетаева (SHL)
- Сергей Сергиенко (ГУУ)
- Светлана Симоненко (Detech)
- Юлия Синицына (TalentQ)
- Сергей Умнов (ЭКОПСИ Консалтинг)
- Татьяна Хватинина (SHL / Председатель Федерации оценки персонала под эгидой НК РЧК)
- Александр Шмелев (МГУ, Гуманитарные Технологии)
Кроме того, готов к обсуждению с любым заинтересованным специалистом.
О мотивации
Один из специалистов рынка обвинил меня в том, что я создаю себе такими постами популярность на рынке. Я уже несколько раз обращался на рынок с подобными вопросами:
Коллеги, предлагаю посмотреть на это с другой стороны: открытые дискуссии развивают профессиональное сообщество. Достаточно просто ответить мне на мои вопросы, а уже сообщество решит для себя, чья позиция заслуживает больше доверия. Достаточно открыто написать мне ответ на своем ресурсе и не вступать со мной в дискуссию, если мой стиль дискуссии вызывает у вас отторжение.
Также обращаю ваше внимание, что данная дискуссия может способствовать популяризации Российского стандарта центра оценки.
Также обращаю ваше внимание, что данная дискуссия может способствовать популяризации Российского стандарта центра оценки.
Научная обоснованность
Цитирую: "Стандарт является общероссийским, научно обоснованным практическим руководством, описывающим метод центра оценки и задающим минимальный объем требований к нему".- В самом документе не поясняется, что значит "научно обоснованный". Хотелось бы понять, что значит "научно обоснованный" в контексте Российского стандарта центра оценки.
- И сюда же в продолжение: "общероссийским, научно обоснованным" - я правильно понимаю, что научно обоснованным российскими учеными?
- Если так, то хотелось бы увидеть российские научные обоснования Российского стандарта центра оценки.
Цель центра оценки
"Цель ЦО – оценка потенциальной успешности в профессиональной деятельности.".Я всегда считал, что цель центра оценки - оценка компетенций, и в моем понимании компетенции и успешность - это разные вещи.
- В связи с этим вопрос: что такое потенциальная успешность?
- Потенциальная успешность это компетенции или нет?
- Если не компетенции, то как ее могут оценивать ассессоры?
- Если компетенции, то потенциальная успешность это поведение или нет?
Содержательная валидность
"Для подтверждения содержательной валидности необходимо, чтобы группа экспертов по оцениваемой профессиональной деятельности документально подтвердила, что моделирующие упражнения ЦО, разработанные образцы поведения и компетенции/критерии отражают наиболее существенные задачи данной профессиональной деятельности."Насколько я могу судить, это не эксперты ЦО, а именно те, что в компании. Если так, то возникает вопрос доверия к этим оценкам.
Евгений Лурье (см. статью), а также Павел Безручко (он цитировал некую работу Г. Финкельштейна) утверждают, что система KPI вообще плоха, на нее нельзя ориентироваться.
"Обычно замер KPI существенно хуже по качеству, чем стандартизированный инструмент оценки поведения".
- У меня к этой фразе много вопросов, которые я высказал в статье, но сейчас я хочу акцентировать внимание на том, что эксперты HR рынка выказывают недоверие к экспертам в деятельности. И при этом говорят нам в Российском стандарте центра оценки, "чтобы группа экспертов по оцениваемой профессиональной деятельности документально подтвердила.....".
- Я правильно понимаю, что в компаниях "группа экспертов по оцениваемой профессиональной деятельности" это по сути дела те, кто и оценивают по KPI чаще всего сотрудников.
- И почему в одном случае мы не можем доверять этим оценкам по KPI, а вот когда дело касается содержательной валидности, мы верим документально подтвержденной оценке экспертов?
- Нет ли здесь противоречия, уважаемые создатели Российского стандарта центра оценки?
Критериальная валидность
В этом месте, у аналитика, как вы понимаете, просто масса вопросов, но я задам только самые меня интересующие."При оценке критериальной валидности допустимо использовать принятые в организации ключевые показатели эффективности (КПЭ), экспертные оценки кадровых комитетов и другие методически обоснованные измерения, не зависящие от результатов ЦО."
- Можно ли узнать, есть ли какие то требования к экспертным оценкам кадровых комитетов?
- Приведите пример "других методически обоснованных измерений, не зависящих от результатов ЦО"
- И вопрос по существу: должен ли ЦО ОБЯЗАТЕЛЬНО валидизироваться по критериальной валидности или нет?
В документе на этот счет ничего не сказано. Ниже идет фраза " каждая программа ЦО, которая применяется в новых условиях, должна быть валидизирована". Но далее речь идет только о содержательной и конструктивной валидностях.
- почему в Российском стандарте центра оценки не указаны условия и/или ситуации, в которых должна происходить валидизация программы ЦО по критериальной валидности?
Цитирую: "Валидность ЦО была ранее доказана на материале многочисленных исследований."
- Относится ли эта фраза также к критериальной валидности?
- Если да, то приведите "материалы многочисленных исследований", доказывающих критериальную валидность?
- Поскольку речь идет о Российском стандарте центра оценки, то не могли бы вы привести материалы многочисленных исследований именно на российских кейсах?
И по существу критериальной валидности, чего уже не указано в Российском стандарте центра оценки:
- Не кажется ли вам, что валидация по критериальной валидности должна проводиться самим Заказчиком или независимым экспертом?
- Не кажется ли вам, что создатель программы ЦО заинтересован в том, чтобы ЦО имел высокую критериальную валидность, чтобы просто банально продать свой продукт?
Коллеги, спасибо заранее за ваши ответы и комментарии.
__________________________________________________________
На этом все, читайте нас в фейсбуке и телеграмме
Комментариев нет:
Отправить комментарий