Полное руководство по проверке концепции

Эрик Ван Сустерен (Eric Van Susteren),
специалист по контент-стратегии

Содержание
────

Вы только вдумайтесь в эту цифру. Представляете, сколько средств тратится на проведение исследований, разработку, маркетинг, реализацию и организацию рекламных акций в пользу продукта, который потребителям оказывается просто не нужен или не интересен? Эти средства и время можно было бы потратить на что-то более выгодное.

Об этом не очень приятно думать, но давайте посмотрим с другой стороны.

Вспомните все те идеи, которые когда-то пришли вам в голову, но которые вы никогда не реализовали. Возможно, вам не хватило уверенности или ваши идеи не понравились начальнику, или у вас просто не было подтверждения рентабельности этих идей.

А вот еще одна цитата, на этот раз менее серьезная. Многие приписывают ее хоккеисту Уэйну Гретцки, некоторые — баскетболисту Майклу Джордану, но есть и такие, кто считает, что она принадлежит Майклу Скотту — персонажу сериала «Офис».

«Вы промахнетесь 100 раз из 100 бросков, которые так и не сделаете».

Но Уэйн никогда просто так не забрасывал шайбу. Как только шайба отлетала от клюшки, он уже знал наверняка, попадет она в ворота или нет. Все дело в том, что все его броски были заранее продуманы, просчитаны и много раз опробованы.

Конечно, в корпоративном мире у вас вряд ли будет возможность бесконечно тестировать забивание шайбы в ворота, чтобы наконец-то развить в себе шестое чувство, как у Уэйна. Вместо этого вы можете просто проверить концепцию.

Проверка концепции — это процесс оценки концепции (продукта или рекламной кампании) и восприятия ее потребителями до выхода продукта или кампании на рынок. Существует множество различных методов проверки концепции, но мы рассмотрим наиболее распространенный: с помощью опросов.

Проверка концепции позволяет решить сразу две проблемы, описанные выше:

Главный вывод заключается в том, что внедрение профессиональной, специально разработанной системы проверки концепций сэкономит вам средства.

Мы научим вас создавать и запускать собственные программы проверки концепции под ключ. Всю информацию мы будем подкреплять примерами, чтобы вам было легко повторить за нами.

Мы будем проверять концепции на примере выдуманной компании по производству корма для собак. Мы подберем подходящее название, логотип и рекламу. Результаты, которыми мы с вами поделимся, основаны на отзывах, полученных от респондентов нашей всемирной панели SurveyMonkey Audience, нашего незаменимого решения для исследований рынка.

Методику, используемую в этом руководстве, можно применять и для других процессов, например разработки продуктов, тестирования упаковки и рекламных обращений. Мы же рассмотрим три конкретных процесса: тестирование названия, логотипа и рекламы.

Чтобы тут же применить полученные знания на практике, мы рекомендуем воспользоваться опросами, которые мы создали, в качестве отправной точки для проверки ваших собственных концепций. SurveyMonkey предлагает целый пакет экспертных решений, которые помогут значительно облегчить составление и анализ опроса для проверки концепции. Вы получите надежные результаты — быстро и без дополнительных трудностей.

Одно из преимуществ проверки концепции, о котором вы узнаете из этого руководства, заключается в том, что изложенные здесь принципы вы можете использовать практически на любом этапе своего проекта. Необходимо всего лишь навести резкость.

Прежде чем думать о схеме опроса, вам необходимо поставить цель, причем как можно более конкретную, — поскольку ваша цель может кардинально повлиять на любой параметр тестирования. Правильно поставленная цель опроса отвечает на следующие три главных вопроса:

Посмотрите на следующие два дизайна упаковки корма для собак. Просто задаться вопросом «Подходящие ли это упаковки?» будет недостаточно. Вам нужно поставить перед собой конкретную цель, которая бы отвечала на указанные выше три вопроса.

Я хочу получить обратную связь о дизайне упаковки корма для собак.

Я хочу узнать, повлияет ли выбранный мной дизайн упаковки на решение купить мой корм для собак. Я также хочу узнать, говорит ли дизайн упаковки о том, что мой товар высокого качества. Результаты опроса помогут мне выбрать один вариант дизайна или отказаться от обоих вариантов.

Многие имеют некую общую идею о том, что именно они хотят тестировать, но мало кто превращает эту идею в цель. Однако это очень важно: цель позволяет сфокусировать внимание на задаче, облегчить ее выполнение и, в конечном счете, повысить качество результатов.

Мы выбрали эту категорию людей, потому что они — потенциальные покупатели нашего товара.

Мы тестируем один вариант, но при этом хотим получить достаточно определенные результаты, потому что от них будет зависеть наш выбор.

Для проверки нашей концепции мы поставили узко определенную цель, поэтому создание и проведение опроса не должны занять много времени и ресурсов.

Мы уже определили вопросы: о намерении приобрести товар, о его качестве, привлекательности упаковки и ценности. Выделив время на постановку цели, мы автоматически подготовили вопросы.

Определив задачу тестирования, мы одновременно подготовили план и разработали схему будущего опроса. Вот почему постановка цели так важна для проверки концепции.

Итак, цель определена. Теперь вам необходимо подумать о том, какой тип проверки вы собираетесь использовать и когда вы будете ее проводить. Конкретное время проверки во многом зависит от того, что именно вы тестируете и на каком этапе жизненного цикла находится ваш товар.

Схема выше поможет вам определить правильное время для проведения проверки. Преимущество заключается в том, что такие проверки можно проводить в различное время.

Например, вы можете получить достаточно общие реакции, если проведете опрос в самом начале жизненного цикла продукта. Так вы поймете, на правильном ли вы пути. Или вы можете запросить конкретную обратную связь, чтобы вносить точечные изменения в практически готовую концепцию: например, сравнивать и изменять цвета, шрифты или стиль рекламы или логотипа. Тестировать имеющиеся варианты — концепции, логотипа или рекламы — всегда хорошая идея.

Чаще всего проверка концепции проводится в середине жизненного цикла продукта — когда вам необходимо узнать, насколько жизнеспособна ваша идея, или выбрать один из нескольких вариантов.

Каждый тип проверки выполняет определенные функции, может требовать мало или много усилий и лучше всего работает на определенном этапе жизненного цикла продукта.

Рассмотрим схему ниже. Здесь четко показано влияние типа проверки концепции и времени ее проведения на сроки вашего проекта. Мы рассмотрим эту тему подробнее чуть позже, а пока обратитесь к этой схеме, чтобы понять, сколько времени вам потребуется для реализации проекта.

По сути, проверка концепции во многом зависит от стимулов. Что мы имеем в виду под «стимулами»? В маркетинговых исследованиях термин «стимул» обозначает любую концепцию, рекламу, название или упаковку, которые вы хотите протестировать. Например, вы тестируете Концепцию А и Концепцию В. Обе концепции — это стимулы. Стимулы бывают трех основных видов:

При выборе стимулов важно действовать последовательно. Это не только повысит ваш уровень профессионализма в глазах потребителей, но и поможет вам удержать внимание респондентов и исключить систематические ошибки в максимальной степени.

Вот несколько советов и примеров того, как представлять разные форматы стимулов не хуже профессионалов.

Отличный пример текстовых стимулов в опросе можно увидеть в нашем опросе о выборе названия для производителя корма для собак. Почему это отличный пример?

В примере выше мы рассматриваем конкретное название — «GoodBoy». Если бы в вопросе не упоминалось название «GoodBoy», то было бы непонятно, о каком названии идет речь.

Рассмотрим в качестве примера наш опрос для тестирования рекламы или логотипа производителя корма для собак.

Обратите внимание, что в указанных примерах изображение-стимул находится в самом верху страницы опроса и упоминается в каждом вопросе. Если вы хотите использовать ту же схему в своем опросе, который вы будете составлять с помощью SurveyMonkey, не забудьте отключить функцию «По одному вопросу». Так респондентам будет проще переключать внимание между изображением и вопросом, на который они отвечают.

В отличие от других видов стимулов, в случае видео вам необходимо его где-то разместить, прежде чем помещать в опрос. Для этого вы можете воспользоваться таким сайтом, как YouTube.

Если ваше видео пока еще нигде не транслировалось или вы хотите защитить его от несанкционированного доступа, можете воспользоваться, например, площадкой Vimeo, которая предлагает дополнительные параметры защиты данных.

Стоп! А теперь проверьте, совпадают ли выбранные стимулы и план проекта.

Планирование — это очень важная часть проекта. Как только вы определились со стимулами, которые хотите протестировать, сверьтесь со своим планом. Соответствуют ли выбранные стимулы вашим целям?

Насколько адекватно тестирование? Если вы тестируете две рекламные кампании, где одна полностью готова к запуску, а другая представляет из себя лишь некий эскиз, то вам заранее будут известны результаты.

Стимулы — это, безусловно, важная составляющая проверки концепции, но не менее важны и вопросы о стимулах. В данном случае вопросы будут зависеть от ваших параметров — или критериев, на основе которых респонденты будут судить о ваших стимулах.

В главе 1 вы уже узнали, насколько постановка цели важна для планирования вашей программы проверки. И сейчас станет понятно почему. Параметры вашей проверки всецело зависят от поставленной цели.

Если вы уже поставили четкую цель, то дальше вам будет легко. Если у вас пока что нет четкой цели, то придется потрудиться. Вернитесь к своей цели и сопоставьте ее со следующей таблицей.

Какие из указанных параметров больше всего совпадают с целью вашего проекта? Выпишите их, даже если список будет длинный.

Если ваша цель заключается в том, чтобы сравнить эффективность двух рекламных концепций, то подходящими для вас параметрами будут: покупательское намерение, адекватность, уникальность и тональность.

Если вам нужно определить, запоминается ли ваш логотип, задайте вопросы, касающиеся узнаваемости, привлекательности, удобства и уникальности.

В качестве практики представьте следующую ситуацию: вы презентуете окончательные результаты своему начальнику. Какие доказательства позволят убедить его в том, что выбранная вами концепция прошла все возможные проверки?

Итак, мы уже упомянули, насколько важно последовательно представлять стимулы. То же самое касается и вопросов.

Для удобства мы рекомендуем воспользоваться 5-балльной шкалой Лайкерта для оценки стимулов, особенно если вы впервые работаете над проверкой концепции. Вопросы по шкале Лайкерта — это вопросы закрытого типа с вариантами ответов, чаще всего пятью — от «совершенно согласны» до «совершенно не согласны».

Зачем использовать шкалу Лайкерта? Ответы на такие вопросы относительно просто анализировать, кроме того варианты ответов вполне понятны и предсказуемы для респондентов.

Главное преимущество шкалы Лайкерта заключается в том, что варианты ответов очень логичны — можно подставить практически любой параметр, и вопрос готов! Предположим, вы хотите измерить параметр «уникальности».

Воспользуемся следующим шаблоном вопроса со шкалой Лайкерта:

Насколько _____ стимул?

A. Крайне _____
Б. Очень _____
В. Относительно _____
Г. Не очень _____
Д. Совсем не _____

В результате у вас получится следующий вопрос:

Насколько уникален логотип?

A. Крайне уникален
Б. Очень уникален
В. Относительно уникален
Г. Не очень уникален
Д. Совсем не уникален

Эта техника поможет вам легко преобразовать выбранные параметры в емкие вопросы для проверки концепции. Чтобы максимально упростить эту задачу, мы создали Базу вопросов SurveyMonkey, где вы найдете вопросы с самыми распространенными параметрами, упомянутыми в схеме выше.

Совет от профессионала: если вы покупаете ответы через опросную панель, например SurveyMonkey Audience, то вам следует использовать вопросы со списком обязательных ответов, чтобы получить ответы на все свои вопросы.

Итак, вы определились с целью проекта, выбрали подходящие стимулы и составили адекватные вопросы на основе имеющихся параметров. Теперь можно перейти к составлению самого опроса, то есть сложить все части в одно целое.

Мы рекомендуем воспользоваться следующим общим шаблоном схемы опроса. Далее мы детально рассмотрим каждый тип вопроса и поговорим о том, как их следует использовать.

Конечно, на деле все оказывается немного сложнее. На схему вашего опроса могут повлиять два основных фактора: количество тестируемых стимулов, а также тип схемы опроса — последовательная или монадическая. Давайте рассмотрим каждый из этих факторов.

Последовательная и монадическая схемы опроса — это два основных способа представить стимулы вашей целевой аудитории. У каждого варианта есть свои преимущества и недостатки, но оба типа схемы играют важную роль в проверке концепции. На простой диаграмме ниже показана разница между этими двумя вариантами.

У нас есть отдельная статья, детально поясняющая разницу между этими двумя типами схем опроса, но основное отличие заключается в следующем.

В случае монадической схемы опроса целевая аудитория делится на подгруппы и каждой подгруппе предлагается свой стимул. Поскольку в опросе участвуют респонденты из одного пула, то их ответы вполне можно сравнивать и сопоставлять, чтобы выбрать «выигрышный» стимул.

В случае последовательной схемы опроса (иногда ее называют последовательной монадической схемой) вы показываете своей целевой аудитории сразу несколько стимулов или сразу все. Так как стимулы будут представлены в произвольном порядке, ответы вполне можно сравнивать и сопоставлять, чтобы выбрать «выигрышный» стимул. Ниже перечислены преимущества и недостатки каждого типа схемы.

Преимущества:

Недостатки:

Преимущества:

Недостатки:

Далее мы еще рассмотрим дополнительные факторы, влияющие на выбор схемы опроса. Сейчас самое главное — разобраться в разнице между двумя типами схем.

Какую бы схему опроса вы ни выбрали, мы рекомендуем не превышать порог в 30 вопросов. Если их будет больше, то вы рискуете значительно утомить своих респондентов и в результате получить искаженные данные.

Конечно, может показаться, что 30 вопросов — это очень много, однако быстро станет понятно, что это не так, особенно если вы тестируете более одного стимула: на каждый уйдет как минимум несколько вопросов, кроме того, вам нужно будет добавить отсеивающие и демографические вопросы.

Есть одно простое и надежное правило:

Убедитесь, что количество стимулов, которые вы тестируете, умноженное на количество вопросов с выбранными параметрами, для каждого из них не превышает 25. Таким образом, вы сохраните возможность задать еще несколько дополнительных вопросов.

Если в вашем опросе меньше 30 вопросов, то это абсолютно нормально!

Лучше составить прицельный опрос из 13-19 вопросов, чем длинный из 30.

От выбора типа схемы опроса (монадической или последовательной) может зависеть длина вашего опроса, однако базовая конструкция остается одной и той же. Итак, давайте рассмотрим каждый раздел и содержащиеся в них типы вопросов.

Перед тем как перейти к собственно вопросам, неплохой идеей будет ввести респондентов в курс дела и объяснить цель проведения опроса. В этом разделе также можно добавить дополнительные инструкции по прохождению опроса и важные объявления. Например:

Мы хотели бы узнать ваше мнение о трех рекламных сообщениях, разработанных для нашей компании по производству корма для собак. Здесь нет правильных или неправильных ответов — мы просто хотим узнать ваше мнение. Гарантируем конфиденциальность ответов.

Что следует сделать

Объясните респондентам, что им будут предложены несколько стимулов (если вы используете последовательную схему). Так вы предотвратите систематические ошибки и утомляемость опрашиваемых.

Составьте как можно более четкие, но при этом короткие инструкции. Длинные инструкции могут отпугнуть респондентов.

Чего делать не следует

Уходить в пространные объяснения о том, что на прохождение опроса может потребоваться много времени. Если вам кажется, что ваших респондентов следует предупредить о длине опроса, то, скорее всего, он получился слишком длинный.

В большинстве решений, предлагающих панели респондентов, таких как SurveyMonkey Audience, вам будут предложены на выбор целевые параметры для подбора аудитории, которая совпадает с потенциальными покупателями вашего товара. Однако если вы планируете опрашивать более широкую аудиторию или, наоборот, более узкую, чем позволяет набор предлагаемых параметров, то тогда вам следует воспользоваться вопросами для отсеивания.

Вопросы для отсеивания — это такие вопросы, которые вы можете задать в самом начале, чтобы отфильтровать респондентов, не соответствующих выбранным вами критериям.

Например, вы собираетесь опрашивать владельцев собак, но только тех, которые когда-либо покупали корм для собак онлайн. Чтобы отфильтровать респондентов, которые никогда этого не делали, можно воспользоваться вопросами для отсеивания.

Что следует сделать

Хорошо подумайте о том, насколько для вас важно использовать вопросы для отсеивания, чтобы получить ответы от более узкой аудитории. Если параметры отбора будут слишком узкими, то может не найтись достаточного количества респондентов либо проведение опроса может затянуться.

Чего делать не следует

Задавать очень специфические вопросы для отсеивания. Например, намного сложнее найти респондентов, которые покупали корм для собак на прошлой неделе, чем тех, которые покупали его хоть раз в прошлом году.

Вопросы классификации обычно следуют за вопросами для отсеивания. Такие вопросы следует задавать для того, чтобы получить больше данных о респондентах, при этом не отфильтровывая их. Эти два типа вопросов можно использовать следующим образом.

Вопрос для отсеивания: как часто вы покупаете корм для собак онлайн?
Вопрос классификации: на каких из следующих веб-сайтов вы покупаете корм для собак? Какой бренд корма вы покупаете?

Что следует сделать

Вопросы классификации следует добавлять в самом начале опроса: они «подготовят» ваших респондентов и помогут им быстрее войти в курс дела.

Вопросы классификации должны быть четкими и не уходить от темы. Вопросы, не относящиеся к цели вашего опроса (демографические), можно задать в самом конце.

Чего делать не следует

Не стоит добавлять слишком много вопросов классификации, иначе они отвлекут на себя все внимание респондентов, и вы не получите самого главного — обратной связи о стимулах.

Мы уже обсудили эти категории вопросов в предыдущих разделах, но они представляют собой самую важную часть вашего опроса. Именно благодаря им вы получите важные данные, которые помогут вам сделать выбор в отношении вашей концепции. Раздел с этими вопросами, скорее всего, будет самым большим, но это зависит от выбранной схемы опроса.

Что следует сделать

Выделите для каждого стимула отдельную страницу и разместите страницы в произвольном порядке. Это самый лучший и наиболее распространенный вариант схемы опроса по проверке концепции, который поможет избежать ошибок, связанных с предвзятостью респондентов, когда они отдают предпочтение первому увиденному стимулу.

Для обеспечения единства подхода расположите вопросы о параметрах в одинаковом порядке на каждой странице. Так респондентам будет легче отвечать, а вы, в свою очередь, получите более обоснованные данные.

Чего делать не следует

Расставлять варианты ответа по шкале Лайкерта в произвольном порядке. На самом деле, лучше заранее определить порядок вариантов ответа, например от положительных до отрицательных или наоборот, и придерживаться его во всем опросе.

Может сложиться такая ситуация, когда покупатели корма для собак не сделают четкого выбора в отношении того или иного предложенного вами логотипа. В таком случае воспользуйтесь вопросом с обязательным ответом из списка.

Чтобы избежать случая, когда статистически значимой разницы между тем, как ваши респонденты отреагировали на стимулы, нет, вы можете добавить вопрос с обязательным ответом из списка. Такой вопрос также может помочь вам сделать правильный выбор, когда респонденты одинаково оценивают варианты по двум разным параметрам. Например, что делать в ситуации, когда респондентам понравилась концепция А, но при этом концепция В им тоже кажется уникальной? Попросите их сделать окончательный выбор.

Что следует сделать

Попробуйте использовать изображения в качестве вариантов ответа (как указано в примере) вместо текста. Так вашим респондентам будет намного легче сделать выбор.

Чего делать не следует

Использовать вопросы с ранжированием, в которых респондентам предлагается отсортировать варианты в порядке предпочтения. Такие вопросы требуют дополнительной концентрации внимания и на них не так удобно отвечать на мобильном устройстве.

Демографические вопросы, как и вопросы классификации, можно использовать для получения более конкретной информации о профилях аудитории, чем предлагается вашей панелью опроса. Демографические вопросы могут быть не связаны с темой опроса, и обычно их задают в самом конце опроса. Ответы на такие вопросы помогут вам отфильтровать полученные данные.

Хотите узнать, с какой долей вероятности женщины, вышедшие на пенсию, будут покупать ваш корм для собак? Задайте вопрос о статусе занятости, а затем отфильтруйте данные по вопросам и ответам, чтобы увидеть, как ответили женщины, вышедшие на пенсию.

Что следует сделать

Убедитесь, что варианты ответа в демографических вопросах соответствуют потребностям вашего исследования. Если вы хотите отделить ответы миллениалов от ответов беби-бумеров, добавьте соответствующие диапазоны возрастов.

Воспользуйтесь демографическими вопросами, доступными в Базе вопросов SurveyMonkey. Эти вопросы составлены экспертами и позволяют раскрыть основные демографические показатели.

Чего делать не следует

Задавать слишком много демографических вопросов. В большинстве панелей, таких как SurveyMonkey Audience, уже заложены профилирующие вопросы для отсеивания аудитории.

Наши специалисты по составлению опросов разработали эти шаблоны специально для наиболее популярных сценариев проверки концепции. Вы можете воспользоваться ими для вдохновения или в качестве черновика для собственного опроса по проверке концепции.

Целевая аудитория вашего опроса, а также его точность во многом зависят от предмета тестирования.

Мы уже упоминали выше о том, что не для каждой программы проверки вам потребуется разрабатывать полномасштабный проект и подыскивать узкую целевую аудиторию. Хотя такие варианты тоже возможны. Давайте рассмотрим три распространенные группы аудиторий, которым вы можете разослать свой опрос.

Здесь важно понимать, что это — далеко не репрезентативная выборка. Результаты вряд ли будут статистически значимыми и уж точно не подойдут для того, чтобы презентовать их на совещании по стратегии. Однако такая обратная связь очень ценна в самом начале проекта, кроме того вы можете получить ее бесплатно. Например, рассылка опроса такой аудитории может быть актуальна в следующих ситуациях.

Вы также можете (бесплатно!) разослать опрос своим постоянным покупателям, но в таком случае нужно быть очень внимательным с информацией, которую вы поместите в такой опрос. Результаты опроса существующей базы клиентов будут намного более ценными, если вопросы, которые вы им зададите, будут касаться того, чем они уже пользуются, — например, вашего продукта, сайта или бренда.

Опрашивая существующих клиентов, вы можете повысить их лояльность к вашему бренду, поскольку они будут чувствовать свою вовлеченность в процесс разработки.

В большинстве случаев, особенно если речь идет о тестировании рекламы или концепции или новых продуктов, лучше опросить выборку рынка. Вам нужно получить обратную связь от группы людей, которые по демографическим параметрам совпадают с вашей целевой аудиторией. Почему это важно?

Если вы решили разослать опрос панели респондентов, то вам необходимо решить, сколько человек должно войти в эту панель. Размер выборки может значительно повлиять на результаты опроса, поэтому этот момент следует хорошо продумать. Прежде всего нужно обратить внимание на следующие четыре главных фактора.

Предел погрешности, или доверительный интервал, определяет максимальное значение, на которое результаты выборки отличаются от результатов генеральной совокупности. То есть он показывает, насколько репрезентативны результаты вашего опроса. Например, если предел погрешности составляет 5 % и 60 % респондентов понравилась концепция А, то фактическое значение будет в пределах 55–65 %.

Низкий предел погрешности важен для достоверности результатов, но он также может повлиять на размер вашей выборки.

Вернемся к нашему примеру с кормом для собак. В 85 миллионах семей в США имеются домашние питомцы. Предположим, что это и есть общая численность населения, которую должна охватывать наша выборка. Если вы хотите опросить репрезентативную выборку этой группы с уровнем достоверности в 95 % (т. е. вероятность, с которой ваша выборка точно представляет вашу аудиторию) и пределом погрешности в 5 %, вам нужно будет разослать опрос 385 владельцам собак. Если вы хотите понизить предел погрешности до 3 %, то размер выборки увеличится до 1068 человек.

Запутались? На самом деле все не так сложно. Вам нужно оценить размер общей численности населения, выборку из которого вы будете опрашивать, определить допустимый предел погрешности и уровень достоверности (обычно 5 % и 95 %, соответственно) и воспользоваться калькулятором размера выборки или калькулятором предела погрешности, чтобы рассчитать размер выборки. На странице калькулятора вы также найдете много полезной информации о том, как это работает. Загляните!

Выбранная вами схема опроса во многом влияет на количество людей, которых вы будете опрашивать. Возьмем пример из предыдущего раздела: нам нужно опросить 385 владельцев собак, чтобы получить достоверные результаты.

Вспомним разницу между монадической и последовательной схемой опроса. Если у вас последовательный опрос, то каждому респонденту будут предложены все стимулы и в итоге вам нужно будет всего 385 ответов. Если у вас монадический опрос, то вам нужно, чтобы 385 респондентов увидели каждый стимул. Таким образом, если у вас 6 стимулов, вам понадобится 2310 ответов (по 385 на стимул).

Размер выборки для монадического опроса может оказаться намного больше, но при этом вы получите более достоверные результаты. Например, последовательная схема не подойдет для опроса, в котором вы хотите протестировать шесть рекламных видеороликов длительностью по 2 минуты каждый. Потому что тогда респонденты потратят как минимум 12 минут на просмотр всех видеороликов, и это уже не говоря о времени, которое уйдет на ответы.

Сужая свою целевую аудиторию, вы понижаете шансы осуществимости проекта. Вам просто будет тяжело найти достаточное количество людей для выборки по критериям. Например, если вы хотите опросить женщин — владелиц собак со средним уровнем достатка, то, скорее всего, у вас не будет трудностей с поиском подходящих респондентов. Если вы при этом также хотите, чтобы это были владелицы исключительно померанских шпицев, проживающие в штате Калифорния, то, возможно, вам не удастся набрать необходимое количество респондентов.

Лучше включить дополнительную информацию в демографические вопросы и использовать фильтры для сортировки ответов.

В примере выше в качестве целевой аудитории мы бы выбрали женщин — владелиц собак, со средним уровнем достатка, и попросили бы их указать штат или регион проживания, а также породу собаки. Далее, получив результаты, мы бы их отфильтровали, чтобы узнать, как ответили респонденты, подпадающие под критерии выбранной узкой группы.

Конечно, все сводится к имеющемуся бюджету. Возможно, у вас нет достаточных средств для проведения полноценной проверки концепции, но даже ограниченное тестирование может принести полезные результаты. Не опираясь на данные, вам будет сложнее принять решение.

В целом нет необходимости планировать определенное время для запуска опроса, но можно следовать рекомендациям, которые помогут организовать процесс наилучшим образом.

Мы обнаружили, что процентная доля ответивших не уменьшается во время праздников и выходных, наверное, потому что у респондентов больше свободного времени. Однако если концепция, которую вы тестируете, может иметь сезонный спрос, то вы можете выявить некоторые различия.

Например, если ваш продукт — мороженое, то с большей долей вероятности покупательское намерение респондентов, отвечающих на ваш опрос холодной зимой, будет значительно ниже, чем у тех, кто отвечает на него жарким летом. Поэтому вы увидите разницу в данных (что подтверждается многочисленными примерами).

Скорее всего, ваш товар не сезонный, но, возможно, вам следует учесть данный фактор, если вы заметите большое различие в данных, полученных с разницей в полгода.

Поскольку ответы в панели Audience приходят довольно быстро, мы заметили некоторую разницу в результатах по времени отправки опроса. Оказалось, что время суток не так важно, как день недели, в который опрос был отправлен. Несмотря на то, что средняя доля ответивших не меняется в течение недели, время ответа может незначительно увеличиться во время выходных (оказывается, люди чаще проходят опросы в рабочее время).

Хотите еще больше рекомендаций о том, когда и как разослать опрос? Посмотрите наш вебинар, который ведут два эксперта SurveyMonkey.

N = 191 464

N = 27 967

Мы также заметили, что в выходные респонденты чаще отвечают на опросы на своих мобильных устройствах. Что это значит для вас?

Это значит, что лучше не отправлять опрос для тестирования длинного рекламного сообщения или дизайна сайта вечером в пятницу, потому что большинство респондентов, скорее всего, будут отвечать со своих мобильных устройств.

Эти замечания могут не оказать большого влияния на результаты, но учитывать их тоже полезно.

Маркетологи используют определенные приемы для упрощения данных опросов, которые они получают. Если вы воспользуетесь 5-балльной шкалой Лайкерта, которую мы упоминали выше, то ваши результаты будут выглядеть следующим образом.

Эта схема кажется достаточно простой для понимания, но если вам нужно сравнить пять разных показателей по четырем стимулам, то анализ данных может усложниться.

Здесь на помощь придет сумма двух верхних показателей. Если вы собираетесь продавать корм для собак, то, скорее всего, вас больше всего интересует, с какой долей вероятности люди будут покупать ваш продукт — с высокой или крайне. Сложите эти два варианта ответа и рассчитайте соответствующий балл.

В данном случае, сумма двух верхних показателей будет равняться 40 %, так как 15 % респондентов выбрали вариант «чрезвычайно вероятно» и 25 % респондентов — «весьма вероятно».

Расчет суммы двух верхних показателей может значительно облегчить анализ результатов опроса. SurveyMonkey сделает это за вас автоматически, если вы воспользуетесь функцией объединения вариантов ответа.

Итак, вы рассчитали сумму двух верхних показателей для всех вопросов. Теперь вы можете разместить эти суммы на шкале оценки. Шкала оценки позволяет наглядно представить полученные данные. Например так:

Такое упрощенное представление данных позволяет облегчить выбор. Теперь давайте посмотрим на подробные шкалы оценки на примере корма для собак.

Итак, мы видим, что использование шкалы оценки для организации данных позволяет наглядно продемонстрировать результаты опроса и упростить выбор наиболее подходящего варианта. Сюда также можно поместить ответы на принудительные вопросы и любые демографические данные, которые вам показались необычными или заслуживающими внимания.

Например, вы можете сравнить ответы, полученные от женщин и мужчин. У вас может получиться нечто подобное:

Совет от профессионала: если вы используете правила сравнения для демографических вопросов в разделе «Анализ результатов», SurveyMonkey автоматически сгенерирует разбивку по демографическим признакам.

Мы уже упоминали такие понятия, как размер выборки и доверительный интервал, с помощью которых вы можете получить статистически значимые результаты. Вкратце, статистическая значимость означает степень достоверности полученного результата, с ее помощью оценивается случайность результатов.

Вернемся к шкале оценки из прошлого примера.

Если статистически значимой разницы между стимулами нет, то вам следует задуматься, прежде чем действовать.

Разница в 35 % и 40 % между покупательским намерением, измеряемым для рекламной кампании, может привести к разнице в доходах, измеряемой миллионами.

Как же определить, является ли разница между стимулами статистически значимой? Самый простой способ — рассчитать значимость с использованием суммы двух верхних показателей. Чтобы облегчить вам задачу, мы создали специальный калькулятор.

Скачать калькулятор для расчета статистической значимости

Кажется, в этом нет ничего сложного: вы составляете шкалу оценки, выделяете верхние показатели и выбираете концепцию с большим количеством выделенных показателей. На практике все может оказаться немного сложнее.

Некоторые параметры имеют больший вес, чем другие, и это может повлиять на конечный выбор. Поэтому очень важно определить приоритетность исследуемых параметров. Если параметры обеих концепций практически одинаковы, но при этом концепция А немного опережает концепцию B, то может показаться, что концепция А в выигрыше.

Однако вы можете заметить, что параметр покупательского намерения у концепции B немного выше. Скорее всего, этот показатель более важен для вас, нежели показатель привлекательности или уникальности. В конечном счете, вам нужен такой продукт или рекламная кампания, которые помогут стимулировать продажи, поэтому в данном случае правильнее будет выбрать вариант B.

Также не стоит забывать о пределе погрешности, особенно если вы получили практически одинаковые результаты. Если разница между концепциями A и B в пределах 2–3 процентных пунктов, а предел погрешности составляет 5 %, то, скорее всего, разница незначительная и не должна влиять на окончательное решение. Это очередной пример того, насколько полезным может оказаться вопрос с принудительным списком ответов. Ответы именно на такой вопрос позволят вам принять окончательное решение.

Довольно часто для принятия решения приходится учитывать дополнительные факторы. Например, в ситуациях, когда вы тестируете продукт, который покупатели давно требуют, или рекламную кампанию в поддержку более общих целей компании.

Рассматривать результаты опроса следует в контексте всех имеющихся у вас для принятия решения данных. Если вы сравниваете новую рекламную кампанию со старой, которую вы запустили несколько лет назад, и ваша цель дать потребителям возможность по-новому взглянуть на ваш товар, старая кампания может все равно опередить новую на несколько процентных пунктов, и в этом не будет ничего страшного или ненормального.

Установка ориентиров может занять время, но в более широком контексте ориентиры и сопоставление помогут вам оценить эффективность ваших концепций. Ориентир — это некий стандарт, который позволяет вам сравнивать свои собственные концепции между собой и с концепциями конкурентов.

Например, вы можете сравнить эффективность новой рекламной кампании по сравнению с кампанией прошлого года. Если новая кампания покажет не слишком высокие результаты, то, возможно, следует изменить подход.

Вы также можете использовать так называемый «контрольный» вариант в опросе (например, эффективную, но устаревшую рекламную кампанию) и сопоставить его с новыми концепциями. Так вы сможете не только определить, какая из новых рекламных кампаний наиболее выигрышная, но и насколько она опережает старую, «контрольную», кампанию.

Наконец, многие маркетологи составляют опросы для сопоставления своих конкурентных ресурсов. Например, маркетологи GoodBoy хотят сопоставить свою рекламную кампанию или дизайн упаковки с соответствующей концепцией своих конкурентов PupLove. Для этого они могут составить опрос и сравнить и сопоставить обе концепции.

Поздравляем! Вы с нуля разработали и составили программу проверки концепции, и получили результаты. Если вы работаете в группе исследователей, то ваша задача — просто передать полученные данные и рекомендации другой команде.

Однако если вы отвечаете за продукт или рекламную кампанию, то вам решать, что делать дальше. Вам предстоит продемонстрировать полученные результаты заинтересованным сторонам и убедить их в том, что сделанный вами выбор является правильным. Для этого вам необходимо презентовать данные в наиболее понятном и наглядном виде. Самое время воспользоваться шкалой оценки.

Самое главное, не бойтесь менять выбранный курс, если данные вызывают сомнения или удивление, или если вы обнаруживаете нечто, о чем раньше даже не задумывались. Ведь именно ради этого все и затевалось. В конечном счете, для вас важно сделать правильный выбор, который будет выигрышным для вашей компании.