Надежность и валидность эмпирическх моделей 2 страница

внешней переменной помимо концептуальной переменной, которую он представляет, и собственной случайной ошибки измерения. Г.Костнер, как уже говорилось, показал, что критерий согласован­ности для модели с двумя индикаторами каждой переменной явля­ется необходимым, но не достаточным условием, и рассмотрел случаи, когда уравнение 2.20 выполняется (в пределах ошибки выборки) при наличии неслучайной ошибки измерения. Один из таких случаев показан на рис.5А, другой - на рис.5Б.

Диаграмма на рис.5А отражает ситуацию неслучайной ошибки при измерении индикаторов одной переменной (например, y₁ и у₂ - смежные вопросы анкеты, измеряющие одно качество). В случае такой модели изменится лишь уравнение 2.19 из системы, которое не использовалось при получении критерия 2.20. На рис.5Б изображена ситуация, когда один индикатор детерминируется двумя неизмеряемыми переменными, что впол­не возможно, когда между переменными существует тесная взаимосвязь и они трудно разделимы теоретически (например, это социальный и экономический престиж соответственно). Для этой модели в нашей первоначальной системе уравнений 2.14 -2.19 нужно переписать два:

Однако и в этом случае критерий согласованности будет выполняться, т.е.

так как: (а с d + аf) (Ь с е) = (асe) (b с d + bf).

Кроме того, в некоторых случаях (например, при наличии неслучайной ошибки измерения между индикаторами разных концептуальных переменных) различия между левой и правой час­тями критерия согласованности будут очень малы и не­отличимы от ошибки выборки, так как будут выражены через произведение многих путевых коэффициентов, каждый из кото­рых меньше единицы.

Как показал Х.Блейлок [83], предложенный Г.Костнером подход, может быть распространен на все рекурсивные модели (определение рекурсивных причинных систем см.: [53. С.139-141]), т.е. для любого числа концептуальных переменных. Так, для двухиндикаторной модели с тремя переменными будут существовать три критерия согласованности. Однако добавление новых переменных будет вести к резкому возрастанию вычислительных сложностей и числа оценок для каждого коэффициента, что порождает проблемы оценивания. Поэтому для сложных моделей со многими переменными и многими индикаторами, которые, однако, не очень типичны для обычной практики, используют факторно-аналитические процедуры, осно­ванные на методе максимального правдоподобия.

Г.Костнер также показал, что уже для моделей, содержащих три индикатора каждой переменной, можно выявить некоторые типы систематических ошибок, т.е. не просто обнаружить наличие систематической ошибки, но и " локализовать" не­валидный индикатор и исключить его. Для откорректированной модели измерения, где ошибки измерения случайны, из соответст­вующих путевых коэффициентов можно получить оценки надеж­ности. Для модели с тремя индикаторами для каждой из двух переменных существует девять критериев согласованности (Костнер рассматривал ее как совокупность девяти двухиндикаторных моде­лей) [113; 225. Р.38-39]:

Приведем пример. Пусть в действительности имеет место ситуация, изображенная на рисунке 6. Исследователь же исходит из предположения, что присутствуют лишь случайные ошибки измерения, т.е. у индикаторов х₃ и у, нет общего источника вариации.

Так как для каждой переменной используются три индика­тора, то, рассматривая, какие из критериев 2.20-2.28 не выполняют­ся, можно обнаружить источник неслучайной ошибки в модели. В данном случае не будут удовлетворены условия 2.21, 2.22, 2.27 и 2.28, включающие корреляцию r_x3y1, тогда как в остальных случаях равенство будет удовлетворено. Таким образом, иссле­дователь может исключить из модели два невалидных индикатора (х₃ и у₁) и далее получить множественные оценки остальных параметров, в частности, оценить надежность остальных индикаторов, как в случае модели с двумя индика­торами.

Следует, однако, помнить о том, что при увеличении числа индикаторов в модели число получаемых оценок будет возрастать в

6 И.Ф.Девятко 81

Рис. 7. Причинная модель измерения для двух свойств и двух методов.

геометрической прогрессии [242. Р. 173]. Поэтому обычно модели с тремя индикаторами используют для выявления невалидных инди­каторов (систематической ошибки измерения), а для оценки пара­метров возвращаются к модели с двумя индикаторами, не порожда­ющей серьезных проблем, если число концептуальных переменных невелико [225. Р.40].

Не считая оценок надежности (заключенных в скобки), в матрице содержится шесть наблюдаемых коэффициентов корреляции для

Таблица 2.1. Матрица корреляций для двух свойств и двух методов [225. Р.48]

четырех различных индикаторов (два метода для каждого из двух свойств). Вариация каждого индикатора имеет два независимых источника - свойство, т.е. концептуальная переменная, и метод измерения. Представим эти отношения с помощью причинной мо­дели измерения на рисунке 7.

Здесь X и Y - значения двух свойств, М_{ и М₂ представляют влияние двух используемых методов. Существует какая-то корреляция меж­ду истинными значениями двух свойств (S), и между влияниями двух методов. Последнее предположение весьма правдоподобно если допустить существование сходных факторов, воздействующих на реакцию респондента - социальной желательности, тематики самопрезентации или просто сходства способа измерения. Модель на рис.7 не доопределена (шесть измеряемых коэффициентов и десять параметров, подлежащих оцениванию).

Однако, следуя правилам путевого анализа, можно выразить все корреляции через путевые коэффициенты, что позволяет оценить четыре основанных на этих корреляциях критерия валидности, предложенных Кэмпбеллом и Фиске (что и было сделано в работах [72; 73], см. также: [225. Р.47-55]).

Таким образом, получаем для коэффициентов валидности (одно свойство, разные методы):

(2.29) (2.30)

Для корреляций между различными свойствами, измеренными разными методами:

83Для корреляций разных свойств, измеренных одним методом:

(2.33) (2.34)

Первый критерий Кэмпбелла и Фиске требует, чтобы ко­эффициенты валидности г и r_y1y2 были высоки и статистически значимы. Однако из уравнений 2.29 и 2.30 очевидно, что это требование будет выполняться либо из-за высоких значений эпистемических корреляций а, b, с, d, либо из-за того, что влияние метода измерения велико (/, т, p и k) и методы скор-релированы (ср. обсуждение в предыдущем разделе). Следовательно, даже прямая оценка валидности будет корректной лишь если пред­положить, что методы совершенно не скоррелированы. Но такое предположение может выглядеть правдоподобным лишь в очень редких ситуациях.

Второй критерий предполагает сравнение между ко­эффициентами валидности и корреляциями между разными свойст­вами, измеренными разными же методами (стоящими в той же колонке и столбце). Корреляции между методами при измерении одного свойства должны быть выше, чем при измерении разных свойств, т.е., например:

Для рассматриваемого коэффициента валидности это равнознач-

но:

cd + mkR-(bcS + PmR)> 0.

Перегруппируем слагаемые, чтобы разделить компоненты, свя­занные с концептуальной переменной и с методом:

(с d - b с S) + (k -P) т R > 0. (2.35)

Обсуждаемый критерий предполагает, что большое различие этих корреляций должно указывать на то, что два измерения У должны быть связаны сильнее, чем измерение Y и измерение второго свойства. Действительно, если d и b приблизительно равны, величина первого компонента будет функцией от (1 - S). Но для этого нужно предположить, что второй компонент должен быть близок к нулю. Это возможно либо когда влияния метода невелики (либо корреляция между двумя методами равна нулю), либо эфекты метода велики и приблизительно равны (k = P). В последнем случае критерий будет удовлетворен при наличии сильных артефактов метода.

Следовательно, осмысленное применение критерия дискрими-нантной валидности возможно лишь при принятии допущения об отсутствии сильных эффектов метода (что, как уже говорилось, далеко не всегда может быть оправдано).

т.е.

(а b + I P R) — (а с S + I т)

или

(а b — а с S) + I (P R — т) > 0.

По аналогии с предыдущим критерием, если предположить, что эпистемические корреляции b и с приблизительно равны, первый компонент будет функцией от (1 — 5) и его величина будет зависеть от корреляции между X и Y. Во втором компоненте присутствует разность между произведением двух путевых коэффициентов - р и R - и одним коэффициентом т. Так как величины путевых коэффи­циентов меньше единицы, то второй компонент, вероятно, будет меньше 0. Если эффекты метода сильны, то значение второго компонента будет сравнительно большим и отрицательным, а инте­ресующее нас различие между корреляциями - маленьким. Т.е.,.если дисперсия метода больше дисперсии свойства, то критерий будет не удовлетворен, что согласуется с идеей Д.Кэмпбелла и Д.Фиске. Однако, чтобы дисперсия, связанная с методами, была заметна, связь между свойствами (S) должна быть невелика или первый компонент должен иметь сравнительно небольшое значение. Если же свойства высоко коррелируют, то величина первого компонента будет неболь­шой и результирующая разность корреляций r_x1x2 и r_x1y1 окажется маленькой даже тогда, когда второй компонент будет также невелик. Т.е. в этом случае влияние артефактов метода будет переоценивать­ся. Таким образом, третий критерий адекватен лишь для случая, когда заранее можно предположить отсутствие значительной корре­ляции между свойствами.

Четвертый критерий, предложенный Д.Кэмпбеллом и Д.Фиске, предполагает сравнение паттернов корреляций внутри блоков, отно­сящихся к одному методу (внутри пунктирных прямоугольников, подобных выделенному в таблице 2.1). Отношения между свойствами должны сохраняться вне зависимости от используемого метода. Для того, чтобы проверить этот критерий, " М-М" -матрица должна быть расширена хотя бы до трех свойств. Мы не будем приводить здесь выкладки, так как ход рассуждений аналогичен вышеизложенным. Можно показать, что критерий будет удовлетворен даже при наличии существенных эффектов метода, если соответствующие пути будут приблизительно равны бсак это было показано при анализе второго критерия валидности)[27]. В таком случае применение четвертого

критерия ограничено ситуациями, коща можно заранее принять предположение о том, что каждый метод имеет отличное по величине влияние для каждого свойства, т.е. выраженность артефактов дан­ного метода зависит от того, какое свойство измеряется. Это пред­положение нельзя назвать очевидным, так как оно само нуждается в проверке.

Таким образом, анализ критериев конвергентно-дискриминант-ной валидности с позиций причинных моделей измерения с множе­ственными индикаторами показал, что по крайней мере три из предложенных критериев в действительности требуют очень сильных допущений, которые достаточно нечасто могут быть приняты даже для простых ситуаций. Введение же даже небольших усложнений в модель, приближающее ее к реальности (например, предположения о воздействии измерения первого индикатора каждой черты на последующие измерения других индикаторов [225. Р.53-54 ]), делает применение кэмпбелловского подхода к валидности практически невозможным. Работы Р.Алтаузера, Т.Хеберлейна и Р.Скотта, осу­ществивших анализ возможностей и ограничений использования " М-М" -матриц для оценки валидности измерения, содержали и некоторые подходы к выявлению влияния метода измерения для простейших моделей с двумя свойствами и двумя методами. Более общим, однако, представляется подход, связанный с увеличением числа свойств или числа используемых индикаторов. Переопределен­ными будут уже модели с четырьмя методами измерения для двух свойств (либо модели, содержащие четыре измеряемых свойства и два метода измерения). В этом случае появляется возможность оценки всех релевантных параметров. Однако, как уже говорилось, этот подход ведет к появлению множественных оценок каждого параметра.

Очень плодотворным оказалось применение многоиндикаторных моделей измерения и для двух других классов задач - анализа сравнимости индикаторов [89] и оценки ретестовой надежности и истинной стабильности измеряемого свойства. Как отмечалось в предыдущем разделе, оценка ретестовой надежности в рамках тра­диционного психометрического подхода осложнена проблемой ста­бильности измеряемого свойства и применима к достаточно узкому диапазону ситуаций. Без явного задания модели измерения и при наличии лишь двух замеров она может основываться лишь на непроверяемом предположении об отсутствии истинных изменений в концептуальной переменной. Априорное принятие такого допуще­ния может считаться оправданным применительно к конституцио­нально обусловленным психофизиологическим характеристикам ин­дивида (например, скорости моторной реакции), но совершенно неприемлемо, когда речь идет о динамических социальных процес­сах. Даже при очень небольших временных интервалах мнения и установки могут достаточно радикально меняться.

Д.Хейс (1971 г.) показал, что существует возможность получения отдельных оценок надежности и стабильности при введении в панель третьей волны [145]. Однако и здесь все еще требуются некоторые

сильные допущения (в частности, о постоянстве эпистемических корреляций, т.е. фактически коэффициентов одномоментной надеж­ности). Д.Уайли и Дж.Уайли показали, что это допущение не всегда обосновано и предложили способ оценки модели с тремя волнами и одним индикатором без стандартизации.Единственным априорным предположением в этом случае является постоянство дисперсии ошибок индикатора [240 ]. Еще одно спорное допущение, присутст­вующее в панельных моделях, - это нескоррелированность возмуще­ний концептуальной переменной (концептуальных ошибок и.) в последовательные моменты времени. Как и в случае скоррелирован-ных ошибок измерения, прибавление дополнительных волн не дает возможности оценить параметры. Однако Д.Хейс показал, что при­бавление четвертой волны позволяет проверить гипотезу о нескор-релированности возмущений, так как в этом случае может быть выведен критерий согласованности.

Х.Блейлок предложил альтернативный подход для панельных моделей с использованием множественных индикаторов в двух или более временных точках [85 ]. Получающиеся в результате модели аналогичны ранее обсуждавшимся моделям с двумя переменными и множественными индикаторами (только здесь вместо двух концеп­туальных переменных имеется одна, измеренная дважды). Преиму­щества использования множественных индикаторов в данном случае - это достаточность двух волн данных, отсутствие ограниче­ний на устойчивость коэффициентов одномоментной надежности, возможность проверки допущений о скоррелированности ошибок индикаторов с помощью уже описанных критериев согласованности. Однако и здесь возникает проблема множественных оценок парамет­ров, о которой мы неоднократно упоминали и на которой вкратце остановимся немного ниже после обсуждения проблемы значимости выводов, получаемых при проверке модели.

Как было показано ранее, переопределенные модели со множест­венными индикаторами, дающие несколько оценок для каждого параметра, позволяют сформулировать критерии согласованности. Критерий согласованности - это средство проверки валидности для каждого из индикаторов и для модели в целом. И при изложении комбинированного подхода к оценке качества измерения в предыду­щем разделе, и при анализе многоиндикаторного подхода мы неод­нократно подчеркивали, что наиболее адекватной стратегией оценки валидности является построение и проверка модели измерения, а не валидизация отдельного индикатора. Однако любой критерий согла­сованности в моделях со множественными индикаторами предпола­гает, что при корректности модели левая и правая части критерия должны быть равны. Если же их разность больше нуля, то возникает проблема оценки значимости этого различия. Обсуждая критерии согласованности и соответствующие модели, мы не уделяли внима­ния этой проблеме, т.е. не подчеркивали, что любое нарушение равенства может быть связано и с выборочной природой данных. В действительности существует необходимость проверки гипотезы о вероятности выполнения равенства в совокупности при данной ве-

личине отклонения от точного равенства в выборке. Следовательно, необходимо решить статистическую задачу проверки значимости. Такой тест значимости был создан за несколько десятилетий до появления первых моделей со множественными индикаторами Ч.Спирменом и К.Хользингером (1924 г.) при разработке простой модели факторного анализа [225. Р.70-72]. Предложенная этими авторами величина " тетрадической разности" сходна с критерием согласованности Костнера, поэтому оценка стандартной ошибки этой величины вполне подходит для аналогичной оценки различия между левой и правой частями критерия согласованности.

Тетрадическая (или тетрадная) разность (t d) для модели с двумя переменными и четырьмя индикаторами определяется как:

Для оценки стандартной ошибки (S.E.) используется формула [225. Р.71]:

(2.38)

где:

N - размер выборки

Так как данная формула предполагает довольно громоздкие

ее значительно более

-где г - среднее четырех корреляций, входящих в критерий.

Эта более простая формула может использоваться во всех случа­ях, кроме тех, когда и N, и эмпирические корреляции малы. Используя эту формулу для оценки стандартной ошибки, можно применить простой ^-критерий для оценки значимости отличия полученной величины td от нуля [225. Р.71 ]. Значение будет равно отношению:

td

S.E.

Далее с помощью стандартной таблицы t -распределения определяют уровень значимости (для N - 1 степеней свободы).

Существует, однако, еще одна проблема, возникающая при ис­пользовании критерия согласованности. Если наблюдаемые корреля­ции очень малы, то даже ошибочная модель может пройти проверку значимости, так как разность между двумя парами таких корреляций заведомо будет очень мала. Поэтому обычно предлагается не исполь­зовать критерий согласованности, когда корреляции между индика­торами меньше или равны 0, 3 [73; 225 ]. Для проверки корректности модели в этом случае рекомендуется сравнить между собой различ­ные оценки каждого параметра. В случае, если эти оценки очень близки по величине, можно считать модель верной. Существуют и другие, более сложные тесты значимости для моделей со множест­венными индикаторами (см.: [176]).

Значительно более сложной проблемой является наличие несколь­ких различающихся оценок для каждого параметра. Это " цена", ко­торую приходится платить за переопределенность (которая, в свою очередь, необходима для проверки согласованности). Как уже гово­рилось, в модели с двумя переменными и четырьмя индикаторами для каждого параметра имеется две оценки, в модели с тремя индикато­рами для каждой переменной оценок будет уже девять и т.д. Даже если модель успешно прошла проверку по критерию согласованности, эти оценки могут заметно расходиться. Возникает проблема выбора между этими оценками эпистемических корреляций (т.е. надежности индикаторов) или корреляций между переменными с поправкой на надежность. Для решения этой проблемы предлагались разные спо­собы: простое усреднение оценок для каждого параметра, усреднение оценочных уравнений для получения одного значения и т.д. [225. Р.73 ]. В принципе любая из этих процедур дает несмещенную оценку, так как правильно определенная модель является теоретически не­смещенной. Однако в статистическом оценивании, помимо несмещен­ности, требуется и эффективность оценки, т.е. выборочное распреде­ление оценок должно обладать сравнительно небольшой дисперсией. Так как обсуждение собственно статистических проблем несколько выходит за рамки нашего изложения, ограничимся лишь двумя за­мечаниями. Во-первых, отсутствие окончательного решения пробле­мы " наилучшей" оценки служило поводом для критики многоинди­каторного подхода [242. Р.173 ]. Во-вторых, так как в переопределен­ной модели эффективной оценкой может быть лишь взвешенная сред­няя, где " веса" отражают вариативность исходных оценок, простое усреднение дает лишь несмещенную оценку. Конечно, для элемен­тарных моделей с небольшим количеством оценок каждого параметра эта проблема не очень существенна, любое взвешивание дает резуль­тат, не слишком отличающийся от простого усреднения. Однако по мере усложнения модели измерения (и увеличения числа оценок) воз­никает необходимость перехода от простых методов путевого анализа к методам максимального правдоподобия.

Отметим, однако, что любые более сложные подходы к оценке параметров могут применяться лишь к конкретной теоретически

специфицированной модели измерения с несколькими индикатора­ми. Описанный нами подход со множественными индикаторами, как и подход к оценке качества измерения, обсуждавшийся в предыду­щем разделе, важен именно для понимания содержательных аспек­тов измерения и роли модели измерения в комплексной оценке надежности и валидности. Понимание этой содержательной стороны проблемы позволяет оценить вклад социологов в традиционные психометрические представления о надежности и валидности.

Оценивая роль рассмотренных подходов к реконцептуализации понятия качества измерения в социологии, отметим, во-первых, что возникновение этих подходов было бы невозможным без принципи­ально новой и возникшей собственно в социологии трактовки изме­рения как основанного на содержательных теоретических представ­лениях процесса соотнесения высокоабстрактных понятий теории с данными наблюдений, в " снятой" форме представленного в модели измерения. Во-вторых, сами новые подходы к оценке качества измерения, ориентированные на проверку гипотез об адекватности принятой модели измерения (а не на оценку качества отдельных показателей), послужили толчком к дальнейшему углублению имен­но тех представлений об измерении, которые первоначально иници­ировали их появление[28]. Т.е. понимание сложной и носящей обоюд­ный характер взаимосвязи теоретически заданного предмета изме­рения, его метода и конкретных эмпирических показателей, к которому подводила рассмотренная концепция качества измерения, способствовало отказу от узко инструментальной трактовки функций измерения. Новое, более широкое определение функций измерения очень точно, на наш взгляд, передано в следующем тезисе: " Их (измерительных операций) неизменная функция коренится во вза­имосвязях между их концептуальными и операциональными аспек­тами, в семантически целесообразном и эмпирически реализуемом соответствии числовым операциям и в надлежащей спецификации, которая соотнесена с природой объекта измерения, с используемыми измерительными инструментами, применяемым способом измере­ния..." [9. С.31 ].

Рассмотренные подходы к оценке валидности и надежности изме­рения в силу своей относительной простоты не могут быть исполь­зованы в ситуациях, когда модель измерения очень сложна. Для оценки параметров очень сложных моделей в последнее время используются значительно более изощренные статистические проце­дуры (например, анализ ковариационных структур). Однако приме­нение таких процедур осмысленно лишь тогда, когда исследователь имеет серьезные основания подозревать наличие конкретных типов неслучайной ошибки в своих данных и способен отчетливо сформу­лировать проверяемую модель. В то же время достоинства сравни­тельно простых подходов тесно связаны с их недостатками, т.е. с существованием ограничений на сложность модели. Прежде всего, необходимость заранее сформулировать все допущения, касающиеся

структуры модели, заставляет исследователя эксплицировать, явно задавать все имеющиеся у него представления о природе и взаимо­связи переменных, возможных влияниях метода измерения на его результат. Тем самым возникают определенные гарантии против опаснейшей иллюзии эмпирической социологии - иллюзии " само­очевидной интерпретируемости результатов измерения" (см.: [7; 35]), не зависящей от теоретических представлений. С другой стороны, преодолевается противоположный соблазн строить в прин­ципе непроверяемые теории, где все связано со всем, в надежде, что хороший методист должен найти способ устранить ошибки измере­ния и откорректировать инструмент (оценить ретестовую надежность отдельного индикатора, указать корреляцию с суммарным баллом и т.п.). Конечно, тема зависимости измерения от теории не исчерпы­вается проблемами определения валидности и надежности (ряд других проблем будет анализироваться в следующей главе), однако анализируя эволюцию взглядов на качество измерения в американ­ской социологии 60-х - 70-х годов, нельзя не признать, что этот процесс характеризовался растущим пониманием специфики целей, задач и методов собственно социологического исследования, все большей " автономизацией" подходов и отказом от некритического копирования отдельных приемов психометрики. не исключавшим, впрочем, принятия конструктивных идей.