CEO платформы для оценки и развития сотрудников StartExam Сергей Макаров поделился, как тестировать разработчиков, проверять качество заданий, следить за актуальностью тестов, а также разобрал 12 главных ошибок в тестировании кандидатов.

Летом 2022 года наша команда StartExam провела исследование рынка оценки сотрудников в России. Мы изучили 94 компании из сферы IT, e-commerce, ритейла, фармацевтики, HoReCa и промышленности. Результат — все компании проводят оценку сотрудников, при этом 50% опрошенных упомянули, что используют тестирование для отбора кандидатов.

В идеальном мире тесты должны составляться узконаправленными профессионалами, а не HR-специалистами. Ни в коем случае не хотим обидеть HR — наоборот, такой подход поможет облегчить вашу работу при найме. Если вы хотите сделать качественный тест и оставить в воронке самых подходящих кандидатов, не стесняйтесь попросить коллег, которые разбираются в вопросе, о помощи.

В зависимости от прописанных в профиле кандидата компетенций, составить вопросы могут и специалисты смежных областей. Например, для отбора руководителя отдела продаж поговорите с коммерческим директором или CMO.

Каждый из нас хоть раз натыкался на необычные вопросы с собеседований Google, Microsoft и других технологических гигантов. Если ввести в поисковике ставший мемом брейнтизер: «Почему люк круглый?» — вы получите больше миллиона результатов.

В действительности от этой практики отказывается всё больше корпораций. В 2013 году вице-президент Google Ласло Бок заявил, что компания будет бороться с подобной инициативой — единственной причиной, почему этого не произошло раньше, по его мнению, было приятное чувство превосходства, которое испытывали проверяющие.

В компании пошли дальше и исследовали, как высокие результаты в тестах на эрудицию влияют на дальнейшую работу. Спойлер: совершенно никак.

Как и в случае с тестами на эрудицию, личностные опросники — крайне неточный инструмент. При этом данный инструмент пользуется большой популярностью — их используют до 75% компаний Fortune 500.

В 2013 году психолог из Университета Айовы Фрэнк Шмидт изучал, насколько точны различные способы оценки кандидатов. Для этого он сравнил их с показателями качества работы нанятых специалистов. В результате личностные тесты заняли предпоследнее место, ниже оказался только опыт работы.

Для того, чтобы правильно составить профиль личности и сопоставить его с будущими результатами, в команде должен быть профессиональный психо-диагност с отработанной и проверенной временем методологией.

Не стоит излишне полагаться на личностные опросники в процессе отбора. Тем более, что человек склонен меняться. Даже в MBTI можно спустя 3-4 года получить совершенно другой профиль.

Важный факт — то, что отлично работает при тестировании сотрудников, не всегда подходит под тестирование кандидатов. Банк заданий, благодаря которому системы тестирования в случайном порядке «вытаскивают» вопросы, а каждый участник, по сути, решает свой уникальный тест, — не лучшая опция для найма.

Чтобы обеспечить участникам равные условия и минимизировать случайности, задания в каждом отдельном профиле должны быть одинаковыми.

Вспомните, когда в последний раз вы проходили психологический тест. Зачастую, они содержат 40+ вопросов, а на выполнение приходится затратить до 1 часа свободного времени. Такое число вопросов можно оправдать, если в результаты «зашиты» десятки типов личности. Тем более, что респондент сразу получает на руки плоды своей работы.

Но, если мы говорим об отсеивающих тестах для при найме, всегда нужно помнить, что по ту сторону экрана сидят точно такие же люди, как и вы. Если вам нужно сразу же определить шорт-лист из претендентов — используйте тестовое задание. Хотите сузить воронку найма и отсечь откровенно неподходящих кандидатов? Закладывайте на тест максимум 15-20 минут и не более 30 вопросов.

Нет ничего хуже для тестируемого, чем тест, в котором есть 1 правильный ответ, но варианты ответов практически не отличаются друг от друга по смыслу. Помните, что тест не должен превращаться в гадание на кофейной гуще — варианты ответов должны быть разными и понятными.

Дистракторы — это неправильные ответы, которые призваны запутать тестируемого. Написать хорошие дистракторы — самая сложная задача при составлении теста. Они должны быть похожи на правильный ответ, поэтому в качестве дистракторов часто используют самые распространенные ошибки отвечающих.

Не стоит в ответах использовать юмор. Во-первых, в глазах кандидатов мгновенно обрушится значимость теста. Во-вторых, упадёт качество всей процедуры тестирования. Кроме того, не используйте слишком очевидные ответы.

Уделите внимание составлению понятной инструкции к тесту. Чётко сформулируйте, что именно нужно сделать кандидату — выбрать единственный ответ, отметить несколько правильных вариантов, уложиться в определённое количество символов в открытых заданиях.

Любой тест, при очень большом желании кандидата, можно списать — даже если у вас уникальные вопросы, никто не мешает участникам найти подсказки в интернете. Конечно, шансы на успех в таком случае снижаются таймером, антиплагиатом на открытых вопросах, классными ответами-дистракторами.

Если вы возлагаете на тестирование большие надежды и хотите не просто отсеять откровенно неподходящих соискателей, а сразу отобрать золото, — используйте прокторинг.

Помимо записи экрана, в современных системах тестирования, в том числе в StartExam, AI автоматически определяет, когда:

• кандидат отводит взгляд;
  
• в кадре появляются посторонние предметы;
  
• на фоне слышны посторонние звуки.

По итогам тестирования в отчётах указывается, с какой вероятностью человек списывал во время процедуры отбора. Рекрутер или HR могут посмотреть запись, чтобы исключить человеческий фактор.

Это одна из самых распространенных ошибок рекрутеров и нанимающих менеджеров. Часто она продиктована желанием избежать разногласий — опытные разработчики не любят, когда их просят подтвердить навыки.

Не переживайте и обязательно тестируйте и «сеньоров», и тимлидов. Здесь, как и на кухне, где у каждого шефа свой подход даже к самому простому блюду — все технические специалисты очень разные. Например, человек может не подходить под корпоративную культуру или не подстроиться под стек.

Поэтому тестирование будет направлено скорее не на хард-скиллы, а на culture fit, даже если в задании нужно будет написать код или решить задачу.

Прежде, чем выпускать тест «в бой», проверьте его на небольшой выборке — коллегах и методологах, которые составляли задания. Так вы получите обратную связь по логике теста и по отдельным найденным ошибкам.

Как понять, что ваши тесты эффективны, а задания, на самом деле, проходятся не наобум? Проводите периодические опросы кандидатов. В идеале — и тех, кто продвинулся по воронке, и отсеянных. Узнайте, с какими трудностями они столкнулись, какие вопросы показались непонятными, заданий на какие темы им не хватило.

Такой опрос можно запустить сразу после прохождения теста, пока впечатления ещё свежие — поверьте, вы узнаете много нового.

Второй инструмент — это проверка качества заданий. Проведите пробный тест на коллегах, а система тестирования укажет на:

• слишком очевидные правильные ответы;
  
• задания, на которые неправильно отвечают даже самые успешные тестируемые;
  
• задания, в которых практически никто не ошибается.