Основные типы систематических ошибок в опросе и как их избежать

Предварительное исследование рынка позволяет компаниям сэкономить время и деньги. Но чтобы получить честные ответы, важно задавать непредвзятые вопросы. 

Полностью объективная формулировка вопросов может показаться невыполнимой задачей, но есть несколько способов предотвратить типичные ошибки. Например можно ограничиться определенным набором типов вопросов, которые помогут избежать субъективности. В любом виде исследования — политическом опросе или сборе отзывов о новом продукте — важно собрать достоверные данные. 

Наверняка у вас уже сложилось определенное мнение о предмете вашего исследования, но это не значит, что вы не сможете получить объективные данные от респондентов. Предвзятость может повлиять на результаты опроса. В этой статье мы разберем, как избежать предвзятости в опросах. Вы получите полноценное представление о разных типах и формах систематических ошибок. 

Это искажение ответов, которое зависит от разных факторов, вызванных влиянием исследователя и респондента. Ошибка выборки напрямую влияет на объективность собираемых данных и сделанных на их основе выводов. 

Это так называемая преднамеренная выборка, при которой у определенной группы респондентов систематически больше шансов попасть в выборку. В некоторых типах исследований с относительно небольшой совокупностью предпочтительнее использовать как раз-таки преднамеренную выборку. Но при опросе большой совокупности для получения точных результатов важно максимально ограничить предвзятость. 

Совет: узнайте о четырех основных типах систематических ошибок и о том, как избежать их в опросе.

Ошибки в ответах характеризуются искажениями, когда респонденты предоставляют неверную информацию. Причиной могут служить несколько факторов. Например прохождение опроса в спешке, когда респондент отвечает только на вопросы со множественными вариантами ответа, пропуская при этом вопросы открытого типа. Еще одна причина — респонденты пропускают демографические вопросы. Либо когда они пытаются ответить на непонятный им вопрос или пропускают неприятные вопросы. Возможно, респонденты и вовсе не являются целевой аудиторией опроса из-за спешной преднамеренной выборки. Искаженный ответ также может быть вызван формулировкой вопроса. В целом можно выделить следующие семь типов ошибок в ответах. 

Совет: исключите ошибку, вызванную порядком вопросов, чтобы повысить качество собираемых данных.

Это системная ошибка, возникающая в случае, когда респонденты из выборки не проходят опрос. Поскольку вы не получаете определенный пласт данных, в результатах возникает пробел, который может привести к искажению информации. Сюда также относится вариант, при котором респондент начал отвечать на вопросы, но не прошел опрос до конца. Если вы обнаружили, что большой процент респондентов не отвечает на опрос, то, возможно, вам следует его отредактировать.

Причин, почему респондент отказывается проходить опрос, может быть очень много. Может, он просто не хочет проходить опрос, а может, опрос ему просто не понравился. Возможно, вы не предоставили респонденту достаточно времени на прохождение опроса, но при этом задаете вопросы, требующие обдуманных ответов. Не стоит отправлять послепродажный опрос через неделю или две после покупки, потому что клиенты забудут все детали, которые вам интересно узнать. С другой стороны, вы можете отправлять напоминания тем, кто еще не ответил. Главное, делать это не слишком часто. 

Совет: ошибки в ответах и ошибки, вызванные отсутствием ответов, — два основных источника искаженных данных. Узнайте пять способов, как получать ответы от большинства респондентов.

Систематические ошибки приводят к ограниченности данных и к неверному анализу, что негативно отражается на результатах исследования. В итоге вы можете столкнуться с проблемными данными, которые повлекут за собой разработку неэффективных стратегий и невыгодные вложения, низкую окупаемость, неудовлетворенность и неопределенность. Узнайте, как небольшая ошибка может привести к серьезным проблемам. 

Систематические ошибки влияют на разные типы опросов. Какой тип опросов наиболее подвержен ошибкам? Групповые и индивидуальные интервью, панельные интервью, интервью по телефону и онлайн-опросы могут в одинаковой степени пострадать от предвзятости человека, который их проводит. Невозможно не иметь заведомо определенного мнения об изучаемом предмете, особенно если этот предмет важен для бизнеса. Но при этом можно максимально объективно подойти к исследованию для получения надежных результатов. 

Чтобы получить максимально точные результаты, важно понимать, какие бывают типы необъективных вопросов. Мы рассмотрим следующие шесть примеров необъективных вопросов: наводящие вопросы, вопросы с подвохом, двусмысленные вопросы, общие вопросы, неоднозначные вопросы, вопросы со множественными вариантами ответа. Для каждого типа вопросов мы покажем, как переформулировать его так, чтобы ответ на него был максимально объективным.

Наводящий вопрос — это вопрос, который подталкивает респондента к определенному ответу. Как правило, он содержит мнение самого исследователя. Однако такой определенный ответ может не совпадать с реальным мнением респондента, а значит, вы получите искаженные результаты. 

Пример:

Вот пример объективно сформулированного вопроса о службе поддержки Компании А:

Насколько отзывчивы сотрудники Компании А?

Пример наводящего вопроса:

Показались ли вам представители службы поддержки в Компании А более отзывчивыми, чем представители службы поддержки в Компании Б? 

Формулировка слишком конкретна и подразумевает, что Компания А лучше Компании Б. Если цель Компании А — сравнить свою службу поддержки со службой другой компании, то этот вопрос вполне можно использовать. При создании опроса очень важно учитывать цель, которую вы собираетесь с помощью этого опроса достичь. Узнайте, как составлять эффективные вопросы, и воспользуйтесь этими советами при создании своего следующего опроса.

Это нестандартные вопросы, в которых что-то заранее подразумевается. То есть у человека, который проводит опрос, есть какие-то завышенные ожидания от респондентов. Даже при опросе конкретных типажей покупателей лучше таких вопросов избегать. 

Пример:

Предположим, Компания А — это супермаркет, в котором, помимо прочего, также продается корм для домашних животных. Компания может задать следующий вопрос:

У вас дома есть домашнее животное?

С помощью такого вопроса легко отфильтровать респондентов, у которых нет домашних животных. Далее в опросе можно использовать логику вопросов для того, чтобы каждый респондент мог ответить только на актуальные для него вопросы. 

Если первый вопрос, который задает Компания А в своем опросе, звучит следующим образом: «Какой сухой корм предпочитает ваша собака?», это значит, что исследователь подразумевает как минимум два момента: что у респондента есть домашнее животное и что это собака. Такое предположение приведет к тому, что респонденты, у которых нет собаки, подумают, что опрос исключительно для владельцев собак, а не для всех посетителей супермаркета. Соответственно, они выйдут из опроса, а вы получите неопределенные результаты. 

Совет: составляйте более эффективные вопросы и избегайте наводящих вопросов и вопросов с подвохом.  

Это когда в одном вопросе сразу два вопроса. Респонденту предлагается дать один ответ на два совершенно разных вопроса. Вот пример, как не допустить двойных вопросов.

Пример:

Предположим, врач решил отслеживать качество предоставляемого его клиникой обслуживания. Для этого он собирается собрать отзывы пациентов, чтобы узнать, что они думают об обслуживании в клинике — от записи на прием до полного решения их проблем. Вот пример эффективного вопроса:  

В целом насколько оперативно реагировали наши сотрудники на ваши вопросы?

Теперь приведем пример двойного вопроса, который не следует задавать:

Насколько оперативно отреагировали сотрудники нашей клиники на ваши вопросы в день приема и помог ли вам кто-то записаться на следующий прием?

Скорее всего, респондент ответит лишь на один из этих вопросов, а значит, вы не получите искомых данных.

Эти такие вопросы, на которые можно дать только определенный ответ. Например, «да» или «нет». Иногда в вариантах ответа также встречаются такие слова, как «всегда», «никогда», «каждый» и «все». Так возникают предположения, а значит, ответы могут исказиться, не отражая важные переменные.  

Пример:

Помогло ли средство от комаров «Х» избавиться от всех комаров на улице?

Вряд ли существует средство, которое поможет избавиться абсолютно от всех комаров на улице. А значит, респондент, скорее всего, ответит «нет». Хотя, возможно, средство помогло значительно сократить количество комаров на участке использования. В таком случае мы упустим важную информацию, которая помогла бы оценить эффективность средства. Лучше сформулировать вопрос следующим образом:

Устраивает ли вас надежность средства «Х»?

Предложив несколько вариантов ответа, вы получите наиболее точную оценку эффективности товара и сможете ее проанализировать. 

Неоднозначные вопросы характеризуются неясной формулировкой. Иногда они слишком общие и непонятные. В них также часто встречаются аббревиатуры, акронимы и специфические термины. Вопросы могут быть расплывчатыми или относиться к какой-то слишком конкретной области. Проблема с неоднозначными вопросами заключается в том, что респонденты могут истолковать их по-своему, а значит, вы получите искаженный ответ.

Пример:

Одна из бизнес-целей стоматологической клиники — получить как можно больше новых пациентов за счет рекомендаций. Один из вопросов может выглядеть следующим образом:

Насколько вероятно, что вы посоветуете друзьям и знакомым посетить нашу клинику?

А вот пример неоднозначного вопроса:

Как вы думаете, вашим друзьям и знакомым понравилась бы наша клиника?

Избегайте слишком общих вопросов, которые могут вынудить респондентов переформулировать вопрос так, как им покажется уместным. Ведь их интерпретация может отличаться от вашей. 

Такие вопросы позволяют контролировать собираемые данные. Однако проблема заключается в том, что их необходимо правильно сформулировать, чтобы избежать неопределенности в ответах. Подбирайте такие варианты ответа, которые будут отличаться друг от друга.

Пример:

Предположим, вы хотите оценить месячный доход выборки. Вы можете задать следующий вопрос:

Сколько вы лично заработали в прошлом месяце?

А вот следующие варианты ответа могут запутать респондента:

Сколько вы лично заработали в прошлом месяце?

Частично совпадающие ответы исключают возможность выбора. Респонденту, который заработал 50 000 руб., подходят два варианта ответа. В предыдущем примере респондент точно знает, какой вариант ему выбрать. Такие детали очень важны при анализе данных. Еще больше советов о том, как составлять эффективные вопросы, вы найдете здесь. И не забудьте воспользоваться нашими шаблонами опросов.

Правильно составленный опрос поможет собрать полезную информацию, на основе которой вы сможете принимать взвешенные бизнес-решения. Чтобы получить максимально непредвзятые ответы, постарайтесь составлять нейтральные вопросы, не отражающие чье-либо мнение. Формулируйте вопросы так, чтобы респонденты могли действительно ответить так, как они думают. Отдавайте предпочтение коротким и четким вопросам. Не усложняйте. Предлагайте ясные варианты ответа, чтобы облегчить последующий анализ. 

SurveyMonkey предлагает настраиваемые опросы для любой отрасли и поможет вам достичь ваших бизнес-целей. Выберите подходящий для вас план уже сегодня.