Тест должен выявлять возможности развития измеряемых профессионально важных психических качеств, способностей в процессе обучения за счет взаимной компенсации. Поэтому необходимо анализировать динамику показателей выполнения теста. Изучение процесса обучения, хотя бы на коротком отрезке экспериментального исследования, дает возможность проследить влияние оцениваемой способности на скорость и качество формирования профессионального навыка в условиях, моделирующих деятельность. В результате исследований (испытаний) необходимо оценить исходный уровень изучаемой способности; коэффициент прогресса ее развития, то есть сравнить исходный и конечный результаты; число упражнений, время и другие критерии, потребовавшиеся обследуемому для выхода на собственное «плато»; число ошибок, пропусков по задачам.
Наиболее значимыми требованиями к методикам (тестам) психологического изучения личности является стандартизация их показателей и определение надежности и валидности методики [44, 224].
Стандартизация (нормирование) показателей тестов. Стандартизация состоит в переводе первичных результатов испытаний по тестам, выраженных в количестве правильных ответов, ошибок, времени выполнения задания и других величинах, в единую для всех методик шкалу балльных или других оценок (например, отношений вероятностей значений разных показателей). Это позволяет сравнивать результаты, полученные по разным методикам.
При анализе подходов к нормированию результатов психологических испытаний необходимо учитывать особенности измерения психологических свойств и качеств. Известны несколько уровней измерений, характерных для психологических методик:
1) номинальное измерение – приписывание одинаковых чисел-наименований объектам, имеющим общий признак; вычисление статистической величины сводится к подсчету числа объектов каждого класса;
2) ординальное измерение – ранжирование объектов по выраженности определенного признака; вычисляются медиана, процентили или коэффициент корреляции рангов;
3) интервальное измерение – определение величины различий между объектами; вычисляются среднее арифметическое, стандартное квадратическое отклонение, коэффициент корреляции.
Помимо уровней измерения, выделяются также виды измерений, среди которых наиболее принятым является нормативное измерение. Оно предусматривает сравнение показателей обследуемого с распределением тестовых оценок в эталонной группе лиц с определенными признаками: социально-демографическими, половыми, образовательными и др.
Надежность тестов. Под надежностью понимается согласованность результатов теста, получаемых при повторном его применении одним и тем же испытуемым в различные моменты времени, с использованием разных наборов эквивалентных заданий или при изменении других условий обследования. Иными словами, это точность (устойчивость) измерения свойства. Надежность теста показывает, в какой степени индивидуальные различия в тестовых результатах оказываются «истинными», а в какой могут быть приписаны случайным ошибкам. Существуют три основных подхода к оценке надежности тестов, которые различаются факторами, принимаемыми за ошибки измерения.
Тест-ретест надежность – коэффициент надежности равен корреляции результатов повторных испытаний одних и тех же обследуемых по тесту. Ошибки измерения могут быть обусловлены различиями в состоянии обследуемых, в организации и условиях повторного испытания, запоминанием ранее полученных ответов, приобретением навыков работы с тестом и т. д.
Надежность параллельных (взаимозаменяемых) форм теста. Коэффициент надежности равен корреляции параллельных форм теста, то есть нескольким различным тестам, предназначенным для оценки одного и того же свойства. Ошибки измерения в данном случае, кроме вышеуказанных факторов, определяются различиями в характере действий и операций, связанных с выполнением параллельных форм теста.
Надежность как гомогенность теста (метод расщепления). Надежность оценивается посредством вычисления интеркорреляций частей или элементов методики, которые могут рассматриваться как отдельные тесты. Источниками ошибок измерения являются различия между элементами теста с точки зрения их адекватности измеряемому свойству.
Считается, что надежность теста должна быть не менее 0,7 (по величине корреляции).
Валидность тестов. Это мера соответствия тестовых оценок представлениям о сущности измеряемых свойств или их роли в той или иной деятельности. Валидность определяет, что и насколько точно измеряет тест. Установление валидности теста необходимо для того, чтобы знать, с какой точностью данный тест позволяет судить о степени развития профессионально значимого свойства обследуемого, его поведении, а также о вероятности достижения им в будущем успехов в овладении профессией. Выделяются три основных вида валидности: валидность критериальная, конструктивная (концептуальная) и валидность по содержанию.
Критериальная валидность оценивается величиной связи, корреляции показателя теста с критериями успешности профессионального обучения или деятельности. Критериальная валидность показывает, в какой мере характеристики обучения или деятельности связаны с тестовыми оценками. Валидность этого вида, в свою очередь, может быть текущей (конкурентная валидность), когда критерий успешности определяется на момент исследования личности, и прогностической (предикативная валидность), когда значение критерия успешности устанавливается через некоторое время (через год, два и т. д.) после проведения психологического исследования.
Конструктивная (концептуальная) валидность является мерой соответствия показателя теста теоретическим представлениям о сущности измеряемых свойств. Она устанавливается путем анализа всей совокупности теоретических и экспериментальных данных о тесте. Примером исследований, направленных на изучение и оценку концептуальной валидности, являются работы В. Д. Небылицына по обоснованию предложенных им методик оценки свойств нервной системы [188].
Валидность по содержанию устанавливается путем экспертного анализа соответствия состава и содержания теста характеру измеряемых индивидуальных особенностей. Данный вид валидности наиболее тесно связан с критериальным измерением, для которого характерна четкая определенность действий и операций, подлежащих оценке, рассматриваемых чаще всего вне связи с общими свойствами.
Применительно к задачам диагностики и прогнозирования профессиональной пригодности валидность тестов определяется как мера соответствия действительности тех выводов (решений), которые принимаются на основе тестовых оценок. Таким образом валидность относится не столько к самим тестам, сколько к процессу их использования и интерпретации.
Для целей обоснования системы психологического отбора более предпочтительным является определение прогностической валидности, когда тестирование проводится до начала профессионального обучения или работы по специальности, а оценка успешности обучения или деятельности производится тогда, когда уже возможно высказать обоснованное суждение о степени подготовленности или профессионализме ранее обследованного лица (то есть через один, два, три и более года). Данные текущей (диагностической) валидности обладают меньшей прогностической ценностью, потому что лица, которые уже учатся или работают по специальности, прошли «естественный отбор», обладают профессиональными навыками и, следовательно, отличаются от того контингента, который был в начале обучения.
Для прогнозирования профессиональной пригодности используются, как правило, батареи (наборы) тестов – их валидность может оцениваться коэффициентом множественной корреляции и критериями профессиональной успешности. Для объединения тестов в батареи с целью прогноза профессиональной пригодности наиболее широко используются регрессионный и дискриминантный анализы [18, 44, 224].
При решении задачи рационального распределения по специальностям эта процедура чаще всего основывается на последовательном анализе пригодности кандидата к ряду профессий с использованием уравнений регрессии. Однако теоретические и методические вопросы рационального распределения кандидатов на основе оценки и учета степени их профессиональной пригодности до настоящего времени разработаны еще недостаточно.
Глава 9. Методические приемы психологического обследования
Использование конкретных методов психодиагностики для решения задач определения профессиональной пригодности должно основываться на данных об особенностях требований к личности и знаниях о диагностической (прогностической) ценности методик изучения, на оценке профессионально важных качеств личности. Опыт разработки системы профессионального психологического отбора и его проведения свидетельствует о наличии довольно обширного перечня методик профессиональной психодиагностики, которые в том или ином сочетании (в зависимости от особенностей вида деятельности) могут быть использованы для решения разнообразных задач оценки профессиональной пригодности. Ниже даны перечень и краткая аннотация этих методик. Полному их описанию посвящены оригинальные публикации, а также специальные руководства, справочники и пособия [10, 170, 218, 275, 308, 316 и др.].
