Косвенные методы определения уровня репрезентативности

Косвенные методы по определению приблизительного уровня репрезентативности в основном опираются на ме­тоды сравнительного анализа. Можно выделить несколь­ко видов сравнений, которые могут быть полезными для определения степени репрезентативности социологиче­ской информации.

Первый вид сравнения предполагает использование метода независимых подвыборок. Этот метод использует­ся как на стадии сбора информации, так и на стадии ее обработки.

Социолог планируемый объем выборки распределяет на несколько подвыборок. Каждая из подвыборок фор-

ние. Жаль, что авторы не приводят соображений о корреляции этих переменных с изучаемыми признаками. В этой связи особо выделяет­ся работа Р. И. Сифман, которая, изучая плодовитость женщин на базе выборочных обследований ЦСУ СССР о доходах рабочих и слу­жащих, не удовлетворялась ошибкой репрезентативности по величи­не семейного дохода. Она резонно заметила, что между этим показа­телем и плодовитостью нет тесной связи, и поэтому сочла необходи­мым провести дополнительную проверку репрезентативности [158; 36—37].

мируется отдельно друг от друга. Если осуществляется, например, многоступенчатый отбор, то на каждой ступе­ни для отдельных подвыборок отбираются «свои» едини­цы исследования. Благодаря этому обстоятельству воз­никает возможность соавнивать ппкячятрпи ттпттш-тй^г^т/

картинка

Социологическая практика использует разное число подвыборок — от 2 до 10. Иногда это число доходит до 30.

Метод независимых подвыборок на стадии сбора ин­формации был впервые применен индийцем Н. Махаланобисом в 1937 г. Затем он был заимствован американца­ми Дж. Тьюки и У. Демингом и стал широко применять­ся в США [261], [252].

Этот метод использовался нами во время пробного обследования читателей «Правды» (1968 г.), в рамках которого была осуществлена выборка инженерно-техни­ческих работников в 3 городах. По ряду показателей три подвыборки оказались довольно близкими [204]. Важное значение использованию этого метода придавалось в сравнительном исследовании читателей этой же газеты в 1976 г.

Значительное распространение метод независимых подвыборок получил и на стадии обработки информации. Здесь он применяется в двух разновидностях. Первая из них предполагает случайное расчленение массива инфор­мации на отдельные подвыборки и сравнение их характе­ристик. Эти сопоставления позволяют получить пред­ставление об ошибке выборки. Само собой разумеется, что они не дают возможности выявить систематические смещения, вызванные недостатками всего проекта вы­борки.

Метод разбивки массивов информации на отдельные части в поисках косвенной проверки репрезентативности данных в последнее время получил известное распростра­нение среди социологов-практиков [95], [64], [33], [265], [347].

Сущность второй разновидности рассматриваемого приема объясним на следующем примере. Пусть массив информации расчленен на 10 подвыборок. Из этого мас­сива сначала отделяется первая подвыборка, и для остав­шихся девяти подвыборок вычисляется средняя. Затем из массива отделяется вторая подвыборка и вновь для оставшихся девяти подмассивов вычисляется новая средняя. Действуя таким образом и дальше, исследова­тель получает в свое распоряжение 10 новых средних, сравнивая которые он определяет ошибку выборки.

Метод независимых подвыборок особенно ценен тог­да, когда исчисление теоретических ошибок из-за слож­ного характера выборки затруднительно или просто не­возможно. К тому же этот метод полезен для проверки работы интервьюеров, поиска эвристическим путем необ­ходимого объема выборки и для решения других задач.

В качестве второго приема сравнительного анализа, позволяющего пролить свет на уровень репрезентативно­сти данных, выступает сопоставление результатов, полу­ченных одним и тем же коллективом социологов на.пере­секающихся совокупностях. При высоком уровне репрезентативности выборочные данные, относящиеся к общей части совокупности, полученные из сравниваемых обсле­дований, должны быть близки друг к другу.

Рассмотрим пример из нашего опыта. Нами почта од­новременно изучалась аудитория газет «Известия» и «Труд». При обработке материалов были выделены под­писчики обеих газет среди выборочной совокупности чи­тателей указанных газет. Среди читателей «Известий» их оказалось 1251 человек, среди читателей «Труда» — 1348 человек. Таким образом, речь идет о совокупности лиц, которые представляют две выборки, взятые из одной генеральной совокупности — подписчиков «Труда» и «Известий». По многим параметрам обе совокупности оказались близкими. Так, например, 3 газеты в первой выборке выписывало 25%, во второй — 23%; 4 газеты —25 и 27% и т. д.

Третий прием косвенной проверки репрезентативности основывается на сравнении результатов исследований, проведенных разными социологами на одном и том же объекте или на сходных объектах. Его использовала в 1970—1973 гг. половина авторов социологических публи­каций.

Примеры мастерского сравнения различных источни­ков информации для перепроверки цифр дает В. И. Ледин. В работе «Развитие капитализма в России» он не ог­раничивается сведениями, полученными на основе выбо­рочного обследования 5% общего числа хозяйств в Рос­сии, а сравнивает их с результатами распределения кре­стьянских хозяйств и числа лошадей в них по сплошным данным переписей.

Сравнение социологических показателей различных исследований с целью определения надежности получен­ных результатов представляет собой особую методиче­скую проблему вторичного анализа.

Укажем прежде всего на то, что при сравнении воз­можны следующие ситуации:

Само собой разумеется, что социолог, сравнивающий результаты обоих исследований, не располагает сведе­ниями об их истинности. Имея в своем распоряжении та­кую информацию, он просто ориентировался бы на ма­териалы более надежного исследования. Однако он и прибегает к сравнению именно потому, что степень до­стоверности обоих исследований ему неизвестна.

Какие же заключения делает социолог, сталкиваясь с одной из приведенных выше ситуаций? В современной практике выработалось следующее вполне разумное, на наш взгляд, решение проблемы.

Считается, что наличие близости сравниваемых ре­зультатов свидетельствует о их надежности. Предпола­гается, что в этом случае имеет место ситуация (1). Мож­но считать также, что близость показателей в рамках ситуации (4) маловероятна. Опыт показывает, что раз­брос неправильных результатов так велик, что совпаде­ние таких результатов у двух исследователей в высшей степени неправдоподобно. Школьные учителя издавна исходят из этой методической идеи, когда они устанав­ливают факт списывания; наличие одинаковых ошибок

у двух учеников практически свидетельствует о несамо­стоятельности одного из них.

Поэтому можно считать безусловным, что возникновение ситуации (4) будет непременно сопровождаться сильными различиями между показателями, естественно, кроме тех случаев, когда оба исследователя пользова­лись одной методикой, так как (если воспользоваться опять-таки аналогией со школой) они «списывали» мето­дические «ошибки» друг у друга.

Используя известную статистическую терминологию, можно утверждать, что в случае близости результатов, методически независимых друг от друга исследований, принятие гипотезы о существовании ситуации (1) сопря­жено со значительно меньшим риском, чем отказ от этой гипотезы в пользу гипотезы о существовании ситуации (4). Иначе говоря,, ошибка второго рода (отказ от пра­вильной гипотезы) в этом случае существенно более вероятна, чем ошибка первого рода (принятие неверной

гипотезы).

Само собой разумеется, что необходимо критически от­носиться и к этому способу проверки надежности резуль­татов, хотя он до проверки результатов общественной практикой является одним из самых эффективных.

История социологии насчитывает немало примеров одинаковых систематических ошибок, совершенных мно­гими исследователями. Согласованность полученных ими результатов объяснялась близостью методического аппа­рата и смещениями одинакового характера.

Рассмотрим теперь ситуации (2) и (3), возникающие, когда фиксируется расхождение между показателями разных авторов. В этом случае (если существует сопоста­вимость между показателями) нет оснований сомневать­ся, что одно из исследований в том или ином отношении является ошибочным. Однако социолог, занимающийся вторичным анализом, находится в большом затруднении по поводу того, какое именно исследование находится ближе к истине. В поисках решений социолог вынужден учитывать научный авторитет руководителей исследова­ний, знакомиться с методикой обоих исследований и т. д.

Известное значение имеет и расширение круга срав­ниваемых исследований. В связи с этим возникает вопрос о том, в какой степени при оценке надежности результа­тов социологического исследования следует учитывать

«принцип большинства». Очевидно, что о прямом исполь­зовании этого принципа не может идти речи, однако тем не менее факт существования конфликта автора данного исследования с большинством его коллег чаще всего не может не вызвать известные сомнения.

В качестве примера использования сравнительного анализа для оценки репрезентативности полученных ре­зультатов сошлемся на исследование бюджетов свобод­ного времени [22; 84]. (пропушены данные)

Приводимые данные из разных исследований близки друг к другу, что повышает доверие к репрезентативно­сти полученных результатов.

Для косвенной проверки репрезентативности, а также достоверности информации важное значение приобрета­ют специальные проверочные обследования (в зарубеж­ной социологии они называются репликациями) [262], [289]. Пока еще в отечественной социологии этот прием проверки результатов проведенных исследований приме­няется редко.