?
Развитие методов оценки валидности данных количественных социально-экономических опросов
Социально-экономические опросы продолжают расширять свою нишу в сфере информационного обеспечения принятия решений бизнесом и органами управления всех уровней. За 65 лет (с появления Consumer Sentiment Index (Michigan, USA)) результаты множество опросов населения, потребителей, менеджеров, руководителей предприятий и различных организаций стали столь же важными для функционирования социальных, экономических и политических структур, как и получаемые статистикой из документов (актов гражданского состояния, регистров различных экономико-правовых действий, отчетов и деклараций граждан и хозяйствующих субъектов и т.п.).
Соответственно, от степени адекватности отражения опросами тех или иных явлений и процессов жизни общества зависит обоснованность критически важных для бизнеса, политиков, граждан решений. Между тем, условия проведения значительной части опросов стали более трудными, чем 50 и даже 20 лет назад. Основной причиной этих трудностей является как раз масштаб распространения во всех сферах жизни опросных методов, ставшего одной из новаций, преобразивших общество в глобальном масштабе.
С одной стороны, широко известные и известные только узкому кругу специалистов практические применения современных опросных технологий внесли, по большому счету, наряду с новыми технологиями распространения и предъявления информации, существенный вклад в изменение того, как большинство общественных субъектов – от рядовых граждан до лидеров общества, воспринимает общественную жизнь в различных ее проявлениях – от узнавания популярности разных сортов пива и звезд эстрады до оценок скрытно назревающих экономических катаклизмов и вероятного поведения разных групп населения на предстоящих выборах. По сути, произошедшие и происходящие изменения можно без чрезмерного пафоса назвать качественно новым состоянием рефлексии обществом общественной жизни.
С другой стороны, значительная часть населения получила опыт участия в опросах. По данным общенациональных обследований в США (Kim et al. Trends in surveys on surveys. // Public Opinion Quarterly, Vol. 75, No. 1, Spring 2011, p. 181) не менее 70% (а по большинству обследований около 80%) взрослых жителей уже были респондентами опросов, в т.ч. 45-50% в течение последнего года. Опросы стали элементом повседневной жизни во многих странах (в т.ч. в больших городах России). Опыт участия в них и далеко не всегда корректная форма распространения их результатов в средствах массовой информации создает у значительной части жителей, равно как и специалистов, менеджеров (потенциальных экспертов) отрицательное отношений к опросам вообще. По данным упомянутой статьи около 40% американцев сказали, что в течение года они отказывались от предложения участвовать в опросе (ibid., p. 182). В нашей практике проведения телефонных опросов в Санкт-Петербурге доля отказов за 20 лет возросла в среднем с 15% до 50%.
Данная проблема является предметом многочисленных исследований, центром обсуждения которых с 1990 года является International Workshop on Household Survey Nonresponse. В обзоре-введении специального тематического выпуска журнала (Singer E. Nonresponse bias in household survey// Public Opinion Quarterly, Vol. 70, No. 5, Special Issue 2006, pp. 637–645) прямо указывается, что превращение отказов участвовать в опросе в главную причину не выполнения заданной выборки (ранее такой причиной была невозможность установить контакт с индивидом попавшим в выборку из-за его отсутствия) разрушает основу представительности выборочного обследования. Тем самым затрудняется статистическая оценка погрешностей получаемых данных, их валидности описываемой реальности.
Эта методологическая проблема является и теоретической, и прикладной. С теоретической стороны она, на наш взгляд, требует тщательного социологического анализа опросов как специфической общественной коммуникации (см. Вейхер А.А. Опросные технологии получения экономической информации – методологические проблемы развития. "Известия СПбГУЭФ", № 2, СПб, 2008). С прикладной стороны она может решаться разными подходами, один из которых предлагается в этом докладе.
Валидность данных имеет несколько вариантов её практической оценки. Не вдаваясь в различия подходов по существу и терминологически (обзор см.: Никитина Т. Теоретическая и эмпирическая интерпретация и операционализация понятия валидность.// Социология: теория, методы, маркетинг. Киев, 2009, № 2), предлагаем применить в данном случае подход, который у разных авторов обозначается близкими по существу терминами «external validity», «criterion-oriented validity», «predictive validity», «concurrent validity». В этом случае в опросники включаются вопросы, фиксирующие параметры респондентов, по которым имеются независимые от опроса данные по генеральной совокупности. Качество выборки оценивается по тому, насколько выборочная совокупность отразила распределения по этим показателям, взятые из независимых источников.
Малая распространенность этого подхода обусловлена тем, что целевыми показателями опросов обычно являются те, информация о которых отсутствует. Потому наиболее известными случаями реализации этого подхода являются выборы, когда прогноз из исхода и оказывается необходимым внешним значением целевого показателя.
В наших исследованиях целевыми были показатели: теневая заработная плата, наличие третьего поколения (бабушек) в семьях с детьми детсадовского возраста, определение реальной заболеваемости (включая неоформляемую больничными листами) и т.п. Поясним логику оценки на примере теневой зарплаты.
В опроснике было два вопроса «Сколько в среднем за последние два месяца Вы зарабатывали в месяц – на всех местах работы, независимо от её оформления?», «Сейчас немало людей получают часть или всю зарплату напрямую, без оформления. Какую часть Вашего заработка Вы получили так?» (Отказы от ответа на оба вопроса не превышали 15%.) Далее по каждому респонденту рассчитывалась «белая» зарплата как «Полный заработок» – «Неформляемая часть». Полученная величина делением на 0,87, пересчитывалась в номинальную зарплату и среднюю номинальная заработная плата по всем работающим, которая публикуется ежемесячно. Соответствующие обследования проводились три раза (через год). Во всех трех годах погрешность статистической и расчетной (по опросу) номинальной заработной платы по региону (Санкт-Петербургу) не превышала 4%.
Такое совпадение результатов возможно, если в выборке работающее население в разрезе размера заработка как номинального, так теневого представлено адекватно. Таким образом, внешняя валидность по показателю номинальной заработной платы (о которой опрашиваемых не спрашивали) служит доказательством валидности по показателю теневой зарплаты.
Аналогичные результаты были получены и в других случаях, где валидность по неизвестным переменным доказывалась валидностью по известным – числу детей в разных возрастов и числу фактически выданных больничных листов.
В книге
