Сколько испытуемых необходимо для расчета валидности?

Гораздо труднее провести теоретическую валидизацию методики тогда, когда такой путь проверки невозможен. Чаще всего именно с та­кой ситуацией сталкивается исследователь. В таких обстоятельствах только постепенное накопление разнообразной информации об изу­чаемом свойстве, анализ теоретических предпосылок и эксперимен­тальных данных, значительный опыт работы с методикой позволяют раскрыть ее психологический смысл.

Важную роль для понимания того, что методика измеряет, играет со­поставление ее показателей с практическими формами деятельности. Но здесь особенно важно, чтобы методика была тщательно проработа­на в теоретическом плане, т. е. чтобы имелась прочная, обоснованная научная база. Тогда при сопоставлении методики с взятым из повсе­дневной практики внешним критерием, соответствующим тому, что она измеряет, может быть получена информация, подкрепляющая теоре­тические представления о ее сущности.

Важно помнить, что если доказана теоретическая валидность, то ин­терпретация полученных показателей становится более ясной и одно­значной, а название методики соответствует сфере ее применения.

Что касается прагматической валидизации, то она подразумевает проверку методики с точки зрения ее практической эффективности, значимости, полезности, поскольку диагностической методикой име­ет смысл пользоваться только тогда, когда доказано, что измеряемое свойство проявляется в определенных жизненных ситуациях, в опре­деленных видах деятельности. Ей придают большое значение особен­но там, где встает вопрос отбора.

Использование диагностических методик с чисто эмпирическим обоснованием, без отчетливой теоретической базы нередко приводи­ло к псевдонаучным выводам, к неоправданным практическим реко­мендациям. Нельзя было точно назвать те особенности, качества, ко­торые тесты выявляли. Б. М. Теплов, анализируя тесты того периода, назвал их «слепыми пробами».

Такой подход к проблеме валидности тестов был характерен вплоть до начала 50-х гг. не только в США, но и в других странах. Теоретическая слабость эмпирических методов валидизации не могла не вызвать кри­тики со стороны тех ученых, которые в разработке тестов призывали опи­раться не только на «голую» эмпирику и практику, но и на теоретиче­скую концепцию. Практика без теории, как известно, слепа, а теория без практики мертва. В настоящее время теоретико-прагматическая оценка валидности методик воспринимается как наиболее продуктивная.

Для проведения прагматической валидизации методики, т. е. для оценки ее эффективности, действенности, практической значимости, обычно используется независимый внешний критерий— показатель проявления изучаемого свойства в повседневной жизни.

Такими кри­териями могут быть:

1) успеваемость (для тестов способностей к обучению, тестов до­стижений, тестов интеллекта);

2) производственные достижения (для методик профессиональной направленности);

3) эффективность реальной деятельности — рисование, моделиро­вание и т. д. (для тестов специальных способностей);

4) субъективные оценки (для тестов личности).

Американские исследователи Д. Тиффин и Е. Маккормик, проведя анализ используемых для доказательства валидности внешних крите­риев, выделили четыре их типа:

1) критерии исполнения(в их число могут входить такие, как коли­чество выполненной работы, успеваемость, время, затраченное на обучение, темп роста квалификации и т. п.);

2) субъективные критерии(они включают различные виды ответов, которые отражают отношение человека к чему-либо или к кому-либо, его мнение, взгляды, предпочтения; обычно субъективные критерии получают с помощью интервью, опросников, анкет);

3) физиологические критерии(они используются при изучении вли­яния окружающей среды и других ситуационных переменных на организм и психику человека; замеряется частота пульса, давление крови, электросопротивление кожи, симптомы утомления и т. д.);

4) критерии случайностей (применяются, когда цель исследования касается, например, проблемы отбора для работы таких лиц, ко­торые менее подвержены несчастным случаям).

Внешний критерий должен отвечать трем основным требованиям:

1) он должен быть релевантным;

2) свободным от помех (контаминации);

3) надежным [43].

Под релевантностьюимеется в виду смысловое соответствие диа­гностического инструмента независимому жизненно важному крите­рию. Другими словами, должна быть уверенность в том, что в крите­рии задействованы именно те особенности индивидуальной психики, которые измеряются и диагностической методикой. Внешний крите­рий и диагностическая методика должны находиться между собой во внутреннем смысловом соответствии, быть качественно однородны­ми по психологической сущности.

Если, например, тест измеряет индивидуальные особенности мышле­ния, умение выполнять логические действия с определенными объекта­ми, понятиями, то и в критерии нужно искать проявление именно этих умений. Это в равной степени относится и к профессиональной деятель­ности. Она имеет не одну, а несколько целей, задач, каждая из которых специфична и предъявляет свои условия к выполнению. Из этого вы­текает существование нескольких критериев выполнения профессио­нальной деятельности. Поэтому не следует проводить сопоставление успешности по диагностическим методикам с производственной эффек­тивностью в целом. Необходимо найти такой критерий, который по ха­рактеру выполняемых операций соотносим с методикой.

Если относительно внешнего критерия неизвестно, релевантен он из­меряемому свойству или нет, то сопоставление с ним результатов психо­диагностической методики становится практически бесполезным. Оно не позволяет прийти к каким-либо выводам, которые могли бы дать оцен­ку валидности методики.

Требования свободы от помех (контаминации) вызываются тем, что, например, учебная или производственная успешность зависит от двух переменных: от самого человека, его индивидуальных особенностей, измеряемых методиками, и от ситуации, условий учебы, труда, кото­рые могут привнести помехи, «загрязнить» применяемый критерий. Чтобы в какой-то мере избежать этого, следует отбирать для исследо­вания такие группы людей, которые находятся в более или менее оди­наковых условиях. Можно использовать и другой метод. Он состоит в корректировке влияния помех. Эта корректировка носит обычно ста-тистический характер. Так, например, производительность следует брать не по абсолютным значениям, а в отношении к средней произво­дительности рабочих, имеющих аналогичные условия труда.

Когда говорят, что критерий должен иметь статистически достовер­ную надежность, это означает, что он должен отражать постоянство и устойчивость исследуемой функции.

Поиски адекватного и легко выявляемого критерия относятся к очень важным и сложным задачам валидизации. В западной тестологии много методик дисквалифицировано только потому, что не удалось подыскать подходящего критерия для их проверки. В частности, у большей части анкет данные по их валидности сомнительны, так как трудно найти адекватный внешний критерий, отвечающий тому, что они измеряют.

Оценка валидности методик может носить количественный и каче­ственный характер.

Для вычисления количественногопоказателя — коэффициента ва­лидности — сопоставляются результаты, полученные при применении диагностической методики, с данными, полученными по внешнему критерию тех же лиц. Используются разные виды линейной корреля­ции (по Спирмену, по Пирсону).