Что показывают отзывы об интервью на сайте Glassdoor о культуре Хай-Тек найма

Перевод статьи What Glassdoor interview reviews reveal about tech hiring cultures в рамках нашего проекта переводы статей по hr-аналитике на английском. Автор Huyen Nguyen, девушка из Вьетнама, которая училась в Стенфорде и живет и работает в Силиконовой Долине.
Перевод выполнил Алексей Морозов, Chief specialist, HR recruitment, международная компания на Ближнем Востоке. Профили в фейсбук и линкедин - добавляйтесь во френды!
Читайте другие его переводы в нашем блоге

• Переосмысление управления эффективностью (Performance Management)
• Сколько гугл-интервью необходимо, чтобы нанять Гуглера
• Чат-боты в рекрутменте. Весь этот хайп того стоит?

Итак, 

Для понимания статьи добавлю еще, что на Glassdoor можно оставить отзыв о работодателе, чего нет на российских джоб сайтах. 

Что показывают отзывы об интервью на сайте Glassdoor о культуре Хай-Тек найма

21.08.2019, Автор - Чип Хьюэн (Chip Huyen)

В процессе работы над книгой об интервью на должности, связанные с машинным обучением, автор статьи множество раз получал от кандидатов один и тот же вопрос -  о пропорции От-Интервью-До-Оффера, а именно, какой процент людей, которые проходят собеседование в компании, в конечном итоге получают оффер. 
Еще одна цифра, которую стремятся узнать рекрутеры и нанимающие менеджеры, — это уровень предложений в других компаний, например, какой процент людей, получивших оффер, принимают его?

Эти цифры, несомненно, отслеживаются командой HR в каждой компании, но насколько известно автору, ни одна компания не спешит делиться этой информацией.  Автор решил посмотреть на приблизительные данные по этому вопросу, используя самый большой публичный агрегатор интервью, который он знает: Glassdoor. Это далеко не идеальный ресурс из-за следующих субъективных факторов:

• Мало кто, на самом деле, оставляет отзывы о чём-бы то ни было в интернете
• Те, кто это делает, скорее всего получили либо очень хороший, либо очень плохой опыт
• Те, кто получают офферы, с большей вероятностью будут оставлять отзыв, чем те, кто не получил
• Те, кто принимает офферы, с большей вероятностью оставляют отзывы, чем те, кто отказываются от них.
• Начинающие специалисты с большей вероятностью будут оставлять отзывы, чем опытные кандидаты.

Тем не менее, автор надеется, что большое количество обзоров позволит несколько сгладить хотя бы часть возможных искажений. Более того, если у всех отзывов окажутся примерно одни и те же субъективные отклонения, это будет всё равно полезное сравнение по компаниям.

Эта статья состоит из 6 частей

• Данные: описание массива данных
• Результаты интервью: пропорция От-Интервью-До-Оффера и сравнение уровня предложений
• Источники поиска кандидатов: как кандидаты получают приглашения на личные интервью. Источники включают рекрутинговые кампусы, ярмарки вакансий, онлайн-заявки, рекомендации, рекрутинговые агентства, внутренних рекрутеров.
• Опыт и впечатления от интервью: какие компании дают кандидатам лучший и худший опыт интервью.
• Сложность интервью: в каких компаниях наиболее сложные собеседования.
• Что кандидаты говорят о каждой компании.

Данные

Автор сосредоточится только на ролях, связанных с разработкой программного обеспечения, таких как Инженер-разработчик и Data Scientist (Эксперт по аналитическим данным) от джуниоров до уровня синьор (хотя большинство в выборке – джуниоры). Для каждого обзора собирается следующая информация:

• Результат: нет оффера/оффер отклонён/оффер принят
• Сложность: Лёгкое интервью/Интервью средней сложности/Трудное интервью
• Опыт: Негативный/Нейтральный/Позитивный
• Обзор: включая процесс отклика, процесс интервью, вопросы на собеседовании.

Автор исключил все обзоры с пропущенными значениями. В итоге удалось собрать 15 897 обзоров от 27 крупнейших технологических компаний, включающих, как минимум, 100 различных должностей, связанных с разработкой программного обеспечения. Технически, обзор может быть выложен кандидатом на любом этапе прохождения отбора, но проверки примеров позволяют заключить, что большинство обзоров опубликованы кандидатом, дошедших до этапа личных интервью, поэтому собеседования в данном анализе будут рассматриваться как состоявшиеся.

Ниже приведен агрегированный подсчёт для всех ролей, связанных с разработкой ПО для каждой компании.  Количество обзоров выглядит пропорциональным количеству разработчиков ПО, нанимаемых каждой компанией. Крупнейшие наниматели разработчиков ПО, что не удивительно, Google, Amazon, Facebook, и Microsoft.  Относительно небольшое число обзоров об Apple и Netflix в сравнении с другими компаниями «Большой Пятерки» связан с тем, что:

1. Apple - по сути не девелоперская компания
2. Netflix – не настолько крупная компания (около 6000 сотрудников, в сравнении, например, с 40 000 сотрудников у Facebook)

Вы можете увидеть общее количество отзывов для каждой роли в каждой компании здесь

Главный момент, на который необходимо обратить внимание в представленном наборе данных – это то, что обратная связь по итогам собеседований сильно отличается в зависимости от роли, на которую проводится собеседование, даже в одной компании. Для примера, только 25,4% кандидатов на должность Data Scientist в компании Facebook считают, что интервью были сложными, а на должность старшего разработчика ПО эта цифра достигает уже 36,4%. В то же время, только 51% кандидатов на роль старшего разработчика ПО получили позитивные впечатления от процесса собеседования, при этом на позицию Data Engineer процент кандидатов с позитивным впечатлением от интервью достиг 69,5%.

Вариативность в результатах достигается за счёт того, что на разные должности рекрутеры используют разные каналы и инструменты поиска (напр. поиск на роли  синьоров больше идёт через т.н. «холодные» контакты, через е-мейл рассылку, тогда как на джуниорские позиции основной канал привлечения кандидатов – это рекрутинговые кампусы и ярмарки вакансий), а у кандидатов разные ожидания, плюс процесс интервью строится по-разному.
В некоторых компаниях применяется одинаковый процесс подбора для всех подразделений, и новые сотрудники проходят одинаковый онбординг после трудоустройства, но большинство компаний позволяют каждой команде проводить свой найм отдельно, что приводит к большему количеству различий в пределах одной и той же компании.

Прежде чем Вы продолжите читать эту статью, автор надеется, что вы примете во внимание все приведённые отклонения и вариации. Далее приведенные результаты не являются окончательными и подлежат дискуссии.

Результаты интервью

Первый набор данных, которые автор хотел бы узнать – это пропорция От-Интервью-До-Оффера (процент личных интервью, которые привели к офферам) и рейтинг имеющихся офферов (перцентиль (или уровень) офферов, которые были приняты кандидатами).

Согласно таблице выше, 18.83% кандидатов в компанию Google, приглашённых на личное интервью получают офферы, и из всех получивших – 70% принимают их. Допуская возможные отклонения в онлайн-обзорах, приведенных выше, мы должны полагать, что актуальные цифры будут намного ниже.  Исходя из опыта общения с рекрутерами, и чтения онлайн-ресурсов, автор заключает, что в приведенной таблице пропорция личных интервью к офферу имеет более высокий процент, чем в реальности. Например, данные, приведенные здесь и здесь утверждают, что пропорция От-Интервью-До-Оффера в Google находится в диапазоне 10-20% и для Amazon - 20% (однако держите в уме, что данные получены от анонимных пользователей из интернета). Точно так же, 90% процентов принятых офферов – это неправдоподобно. По мнению рекрутеров, с которыми общался автор, если 80% кандидатов принимают предложение компании – то это уже невероятный успех.

Топ-10 компаний с наиболее низким коэффициентом От-Интервью-До-Оффера – это интернет гиганты (Yelp, Google, Facebook, Airbnb, Amazon, итд). Они так же известны как компании высоким порогом вхождения и суровыми критериями отбора. Но компании, у которых высокий коэффициент От-Интервью-До-Оффера не обязательно окажутся неизбирательными (с низким порогом отбора). Возможно, они проводят более тщательный отбор на этапе скрининга и интервьюируют кандидатов, в которых уже однозначно уверены или которых знают. Личные собеседования дорого стоят компании, поэтому чем выше коэффициент Интервью-оффер, тем более финансово обоснован этот процесс.

Существует очень сильная корреляция между соотношением От-Интервью-До-Оффера и уровнем предложения (перцентиля) в оффере. Если мы рассмотрим все 27 компания, то корреляция составит 0.81. Если мы рассмотрим только 10 компаний, на которые есть как минимум по 300 обзоров (Apple, Uber, Amazon, Google, Microsoft, Oracle, Yelp, Cisco, IBM, Facebook), то корреляция даже выше: 0.89. Это означает, что чем выше коэффициент От-Интервью-До-Оффера, тем выше уровень предлагаемого кандидату вознаграждения. Это заключение имеет смысл, так как кандидаты, успешно прошедшие интервью в компании с такими серьезными критериями отбора, как Google или Facebook вероятнее всего имеют другие привлекательные офферы, из которых могут выбирать. Не секрет, что офферы, которые кандидаты получают от таких гигантов часто используются ими для переговоров по условиям с теми компаниями, где кандидаты действительно хотят работать.

Источники поиска кандидатов

Следующий момент, который автор хотел бы рассмотреть – это источники привлечения кандидатов. Каждый первый нанимающий менеджер, с которым разговаривал автор статьи, говорил ему о том, что наибольшее значение имеют рекомендации. Но то, насколько важен фактор рекомендаций, может варьироваться от компании к компании и от должности к должности. Рекомендации для должностей синьоров значат намного больше, чем рекомендации на позиции джуниоров, по ряду причин. Во-первых, рекомендации на джуниоров скорее всего получают от таких же джуниоров, которые не столь опытны в оценке навыков своих друзей и коллег. Во-вторых, роль синьора требует больше лидерских качеств и компетенций, соответственно личностные качества и культурные ценности будут играть большую роль.

Что касается джуниорских позиций, то около 10-20% кандидатов приглашаются на собеседование по чьей-то рекомендации, и по этому показателю лидирует Uber, у которого процент джуниоров, приглашенных на интервью по рекомендации, достигает почти 30%

Для должностей синьоров эти цифры выше. Salesforce, Uber, и Cisco – у всех этих компаний, число синьоров, приглашенных на интервью по рекомендации, составляет приблизительно 30%. Если принять во внимание факт, что число кандидатов, которые были рекомендованы составляет ничтожно малую долю по сравнению с общим числом кандидатов, откликающихся на вакансию другими способами, то шансы на получение интервью у рекомендуемого кандидата намного выше, чем у любого другого случайного кандидата.

На позиции джуниоров, самым крупным источником привлечения кандидатов являются рекрутинговые кампусы. Microsoft и Oracle более половины нанятых кандидатов получают через такие кампусовые мероприятия как ярмарки вакансий и митапы. Такие привлекательные интернет-компании как Google, Facebook, Airbnb меньше полагаются на кампусовые рекрутинговые мероприятия, но все равно получают через этот источник от 20 до 30% кандидатов на интервью. Это означает, что такие большие Хай-Тек компании концентрируют гигантскую часть своих усилий по рекрутменту на нескольких популярных инженерных школах (Так называемая Лига Технического Плюща: Stanford, UC Berkeley, MIT, Caltech, CMU, University of Toronto, University of Waterloo). Студенты, нанятые из таких школ, затем рекомендуют своих бывших одноклассников, которые, в свою очередь, рекомендуют еще больше своих товарищей по учёбе.

Таким образом, идёт круговое движение, превращающее главных Хай-Тек гигантов в микс из выпускников Лиги Технического плюща.

Такой подход имеет смысл в первую очередь для рекрутеров, позволяя ориентироваться на наиболее перспективные источники найма, однако, в то же время, это статистически удручающий фактор для кандидатов, которые не ходили в популярные инженерные колледжи или не ходили в колледжи вообще. Если вы – один из таких кандидатов, то совет от автора – сделайте онлайн портфолио, которое невозможно будет проигнорировать и ждите рекрутеров, которые набросятся на вас. Пишите подробные технические посты в блоге или статьи, участвуйте в проектах с открытым исходным кодом, хакатонах, соревнованиях по кодингу, но самое важное – публикуйте результаты своей работы, чтобы мир знал, какой вы удивительный инженер. От 15 до 25% приглашенных на интервью кандидатов были найдены рекрутерами в открытых источниках. На позиции синьоров эти цифры удваиваются. Если у вас за плечами годы опыта, но нет релевантных навыков и/или портфолио, которые могут привлечь рекрутеров или нет друзей, готовых вас порекомендовать, то у вас проблемы.

Если всё остальное не помогло, то тогда просто откликайтесь на вакансию и надейтесь на лучшее. Наиболее дружелюбно расположенные к онлайн-заявкам на вакансии компании – это Twitter, Amazon, и Airbnb, у которых, по грубым подсчётам, до половины собеседований – это кандидаты, откликнувшиеся онлайн. И наоборот, компании, которые наиболее вероятно скажут откликнувшемуся онлайн кандидату «Спасибо-мы-вам-перезвоним» — это Facebook, Microsoft, и Oracle.

Опыт и впечатления от интервью

Все кандидаты периодически жалуются, что в процессе собеседований что-то пошло не так и они провалились. Это не совсем верно, по крайней мере с точки зрения кандидатов, приглашённых на интервью. 60% кандидатов говорят о положительных впечатлениях от собеседования.

Salesforce, как компания, наиболее известная своими решениями для продаж, очевидно, очень хорошо продает себя кандидатам. Кандидаты, проходившие интервью в Salesforce наиболее вероятно оставят позитивный отклик по итогам собеседования. Другие компании, занимающие высокие места в этом списке – это Intel, Adobe, и SAP.

Две компании, которые, как кажется, оставляют наихудшее впечатление от интервью у кандидатов – это Netflix и Snap – только треть их кандидатов оставляет положительные отзывы о собеседовании.

Тем не менее, эти же две компании имеют наименьшее количество оставленных обзоров, поэтому данное заключение может быть не совсем корректным, из-за вероятных погрешностей выборки.

Здесь так же существует сильная корреляция (0.75) между коэффициентом От-Интервью-До-Оффера и процентом позитивных откликов. Если вы получаете оффер, то вы, наиболее вероятно, будете положительно вспоминать о ходе интервью. Здесь так же есть сильная негативная корреляция (- 0.67) между коэффициентом негативных отзывов об интервью и уровнем (перцентилем) полученного оффера.

Чем более негативное впечатление о собеседовании у кандидата, тем меньше вероятность, что он примет оффер. Если кандидат, получивший оффер, имеет положительные впечатления от интервью, то вероятность того, что он примет предложение составляет 87.5%. Тем не менее, если у кандидата сложилось негативное впечатление о собеседовании, то перцентиль оффера (от максимального для данной роли) составит только 33.8%.

В целом, кандидатам на роли синьоров куда сложнее угодить, чем джуниорам. Зачастую, синьоры — это кандидаты, которые сами имеют опыт проведения интервью, и поэтому, ожидают большего от своих интервьюеров.  Это может объяснять ужасный опыт интервью у Netflix. В то время, как у других компаний процент интервью на должности синьоров составляет не более 1/3 от общего числа всех собеседований, Netflix нанимает исключительно на синьор-позиции. У Netflix нет интернов. У них нет даже нанятых выпускников и молодых специалистов.

Сложность интервью

Сперва, автор составил приблизительную схему с оценками сложности интервью, рассчитанную на данных Glassdoor. По этой метрике, интервью с Google и Airbnb воспринимаются кандидатами как самые сложные, тогда как интервью с IBM считаются самыми легкими.

Однако, фактическая сложность собеседований намного больше и сложнее, чем представленная. Кандидат, которому отказали в работе, вероятнее всего будет считать интервью на эту должность сложным. Корреляция межу коэффициентом От-Интервью-До-Оффера и процентом кандидатов, которые сочли интервью сложным составляет  -0.49.

Что кандидаты говорят о каждой компании

Автору показалась забавной возможность визуализировать словесные облака для каждой компании, состоящие из наиболее часто упоминаемых слов, в обзорах на каждую конкретную компанию. Автор удалил названия компаний и локации из обзоров. Сможете ли вы угадать какие словесные облака описывают какие компании? Здесь зашифрованы следующие марки: Google, Netflix, Microsoft, Amazon. Ответы вы найдете в конце статьи.

Ответы следующие:

1. Amazon
2. Netflix
3. Google
4. Microsoft

Этот анализ был проведен в рамках исследования автора для его предстоящий книги об интервью на должности, связанные с машинным обучением (Machine Learning Interviews). Вы можете узнать больше деталей, а так же подписаться на обновления и информацию о прогрессе книги поссылке.