Читать книгу Глубокое интервью и фокус-группы - Сергей Александрович Белановский - Страница 11

Данный параграф написан для того, чтобы опровергнуть широко распространенное мнение о качественных исследованиях как принципиально недостоверных и нерепрезпентативных. Проблема состоит в том, что репрезентативность качественных исследований часто оценивается по критериям количественных, что неправильно. Оценка репрезентативности качественного опроса требует иной постановки математической задачи.

Эмпирическая оценка репрезентативности. Начнем с того, что верификация репрезентативности выборки может быть осуществлена не только математически, но и эмпирически. Для целей нашей книги показателен иллюстративный пример, взятый из книги Э. Ноэль «Массовые опросы». Ноэль пишет:

Обсуждая с посетителями проблемы достоверности данных массового опроса, им объясняют, что по одной-двум тысячам интервью можно судить о мнениях или желаниях взрослого населения Западной Германии, превышающего 40 миллионов. Им показывают на диаграмме, как выглядят результаты опроса по данным, полученным от первой сотни, затем от двухсот, трехсот поступающих с территории ФРГ интервью. Посетители могут видеть, как довольно быстро – после восьмисот или тысячи интервью – результаты стабилизируются и последующие тысяча, две тысячи и более анкет не приносят существенных изменений.

В этом примере просматривается прямая аналогия с качественными исследованиями. Практика показывает, что в однородном сегменте респондентов (в качестве примера могут быть названы малые предприниматели) по любому содержательному вопросу существует ограниченное число преобладающих мнений. Как правило, от 2 до 4. Встречается и почти полный консенсус. Практика показывает, что опрос 20 – 30 респондентов, а тем более проведение 6 – 12 фокус-групп вполне достаточно, чтобы даже редкие мнения прозвучали хотя бы 1 – 2 раза (обычно намного чаще). При увеличении масштабов исследования в пределах однородной совокупности список основных мнений уже не меняется.

Математическая оценка репрезентативности. С точки зрения количественного социолога объемы выборки в 20 или даже 50 человек кажутся некорректными, поскольку доверительный интервал и доверительная вероятность в их привычном понимании явно ниже приемлемых значений. Однако поскольку качественные исследования не предназначены для ответа на вопрос «сколько», никто и не ожидает, что их результаты будут выражены в терминах статистически достоверной численности респондентов.

Тем не менее задача оценки репрезентативностикачественных данных может быть выражена на математическом языке, хотя на практике этот язык редко употребляется. Рассмотрим сначала, как могла бы выглядеть правильная формулировка задачи, а потом объясним, почему в качественных социологических исследованиях математическая оценка выборкине используется, хотя используется в смежных областях, например, в лингвистике или при проведении контент-анализа.

Начать следует с того, что непосредственным результатом качественного опроса является не цифровой массив, а массив текстов (стенограмм). Единицей опроса становится не респондент, а высказывание.

Часто бывает, что респондент подкрепляет свою мысль ссылкой не только на свой личный опыт, но и на опыт знакомых ему людей, попавших в некую ситуацию, релевантную теме обсуждения. Даже в тех случаях, когда интервьюер, согласно инструкции, просит апеллировать только к личному опыту, такой опыт даже для одного человека может быть многократным. Говоря условно, по этой причине количество релевантных высказываний по сравнению с числом респондентов может примерно удваиваться. При проведении серии фокус-групп массив релевантных высказываний с учетом такого удвоения может быть уже статистически значимымдаже по критериям количественного исследования.

Однако эффект подобного «удвоения» – не самое важное. Главное состоит в том, что коценке представительности результатов качественных исследований могут применяться критерии теории вероятности, но несколько иначе, чем к оценке количественных. Более того, эти методы используютсяв смежных областях, например, в математической лингвистике при анализе частотных словарей, на основе которых можно ответить на вопрос, с какой вероятностью в некоем массиве текстов можно встретить определенное слово, идиому или слог.

В частотных словарях языка принято использовать показатель ipm, означающий, сколько раз некое слово встречается в усредненном корпусе текстов, состоящим из одного миллиона слов (такова международная практика). Пересчитав для удобства этот показатель на 10 000 слов, мы к примеру, получаем, что слово «человек» встретится в усредненном текстовом массивев 27 раз.

После этого возьмем набор 10 000 случайно выбранных слов, и проверим эмпирически, будет ли получен результат, совпадающий с данными словаря. Априорно можно сказать, что чем большее число проб будет сделано, тем ближе их усредненный результат будет стремиться к показателю словаря. Но каково будет возможное отклонение показателя при единичном замере? Для математической статистики такая постановка задачи является классической: с вероятностью 95% в массиве данное слово может встретиться, условно, от 22 до 31 раза.

Если использовать аналогию с частотными словарями, задача качественного исследования может быть сформулированатак. Предположим, что на неких выборах участвуют 10 кандидатов, из них пятеро имеют рейтинг более 5% (основные кандидаты). Эти данные могли быть получены в ходе предварительных количественных опросов. Задача качественного исследования состоит получении ответов на классический вопрос «почему?» по каждому кандидату.

Для определения необходимого количества респондентов вопрос можно поставить так: сколько респондентов необходимо опросить, чтобы каждый из пяти кандидатов был представлен не менее, чем одним сторонником?

Учитывая, что наиболее редкими являются респонденты-сторонники кандидатов с наименьшими рейтингами, достаточно решить эту задачу лишь для последнего в списке значимых кандидатов.

Предположим, его рейтинг равен 5%. По подсчетам Алексея Чурикова (ФОМ) для того, чтобы в массиве (при случайной выборке) был хотя бы один человек с мнением или признаком, встречающимся в популяции не менее, чем в 5% случаев, потребуется отобрать:

• 90 человек при уровне доверия 99%;

• 59 человек при уровне доверия 95%;

• 45 человек при уровне доверия 90%

Расчеты проведены в предположении, что для отбора участников фокус-групп будет применена простая случайная выборка из всей популяции. Расчеты проводились по формуле для биномиального распределения. Расчеты, которые были проведены по формуле нормального распределения, формально не подходят для решения этой задачи, но полученные с их помощью результаты оказались близки.

Таким образом, буквальный перенос критериев репрезентативности из области количественных в область качественных исследований некорректен, поскольку постановка задачи кардинально различается. В количественных исследованиях требуется получить как можно более точную цифру рейтингов или иных показателей, тогда как в качественных требуется определить минимальный объем выборки, чтобы обеспечить гарантированное (с заданной вероятностью) попадание в нееотносительно редковстречающихся мнений релевантных целям исследования.

Оценки, полученные А. Чуриковым, почти полностью совпадают сосложившейся практикой проведения фокус-групп и близки к числу респондентов, обычно опрашиваемых с помощью индивидуальных интервью.

Почему количественная оценка репрезентативности качественных опросов не используется на практике? Отвлекаясь от технических моментов, укажем главное: в качественных социологических опросах исследователь часто имеет дело с высказываниями, которые, будучи идентичными или близкими по смыслу, выражены разными способами (словами, предложениями, паравербальными средствами). Формальное выявление близких по смыслу, но разных по форме высказываний, в отличие от словоформ, невозможно даже с помощью современных компьютерных методов. Трудно сказать, в какой мере такие задачи могут стать решаемыми в будущем с помощью искусственного интеллекта. Насколько известно, в настоящее время подобные задачи пока не решены.

Таким образом, можно сказать, что указанные выше приблизительные оценки необходимого количества респондентов применительно к типовому качественному исследованию проверены эмпирически и могут быть обоснованы математически.

Качественные методы как источник количественных оценок. Количественные оценки могут возникать в качественных исследованиях в двух случаях. Во-первых, это оценки, возникшие у респондентов на основе прямого наблюдения за объектом. Фактически, это экспертные оценки. В качестве примера можно взять можно взять сообщение В. Игрунова, который в советское время (начало 80-х годов) в течение нескольких лет работал на заводе в отделе снабжения. По его словам, вся советская экономика в те годы была пронизана системой бартерных обменов между предприятиями, что позволяло смягчить проблему дефицитов в снабжении. На вопрос об объемах таких обменов респондент ответил так:

Это зависит от категории материала. К примеру, по моей категории (резина, пластмасса) количество обменов сравнительно невелико – около одной четверти. Что же касается метизов (это шурупы, винты и проч.), то я думаю, что добрая половина этих материалов поступает на завод путем обменов. Может быть, даже больше половины.

Вопрос о доверии к таким оценкам остается на усмотрение исследователя, однако при необходимости они могут быть проверены объективными методами.

Второй источник количественной информации – это статистика распределения мнений респондентов, точно так же, как в количественных опросах. При проведении относительно больших сессий фокус-групп (например, 12, что эквивалентно 120 участникам) численность респондентов даже по критериям количественных исследований приближается к репрезентативной. Однако авторы зарубежных учебников не рекомендуют использовать проценты при описании распределения мнений, предпочитая менее конкретные формулировки типа «большинство», «меньшинство», «подавляющая часть», «незначительная часть», «примерно половина» и т. п.

С точки зрения статистики такая рекомендация вполне корректна, однако она требует уточнения с точки зрения достоверности результатов, даже если они выражены в столь обтекаемой форме. В тех случаях, когда удается сравнить результаты фокус-групповой сессии и параллельно проведенного количественного опроса, часто выясняется, что там, где на фокус-группах некое мнение высказывает «большинство» (условно – 70% респондентов), количественный опрос показывает очевидное, хотя и значимое меньшинство (условно – 30%).

Причины этого явления на сегодняшний день не ясны. Одно из возможных объяснений выдвигает на первый план – статистический сдвиг выборки, обусловленный малой численностью респондентов. Второе объяснение состоит в том, что методы рекрутинга в количественных и качественных исследованиях сильно различаются, что накладывает свой отпечаток на количественное распределение мнений. Наконец, третья гипотеза состоит в том, что в фокус-группе респонденты высказывают свои мысли несколько иначе, чем в количественном опросе. Эти вопросы требуют уточнения, однако автор не встречал работ, в которых они бы исследовались эмпирически.

Итак, качественные исследования могут давать заметный количественный сдвиг в распределении мнений. Однако список основных мнений в обоих типах исследований остаётся неизменным. «Большинство» после количественной проверки может превратиться в значимое «меньшинство», однако сам факт наличия соответствующего сегмента фиксируют оба исследования. Это еще раз подчеркивает, что единицей анализа в качественных опросах является не респондент, а высказывание.