Что такое t-критерий и для чего он используется при анализе опроса

Конечно, разница между двумя числами понятна каждому, но вот является ли эта разница статистически значимой — уже совсем другой вопрос, требующий более глубокого изучения.

Предположим, вы разослали опрос об удовлетворенности клиентов вашей компанией и получили огромное количество ответов, которые нужно проанализировать. Вы спрашиваете у своего руководителя, с чего начать анализ, а она вам отвечает, что сначала необходимо узнать, отличались ли ответы женщин от ответов мужчин. Например, понизился ли ваш показатель лояльности (Net Promoter Score℠ (NPS)) из-за ответов мужчин?

Начав разбираться в ответах респондентов, вы обнаружили, что средняя оценка у мужчин составила 9, в то время как у женщин это значение равно 12. Является ли разница в 3 единицы статистически значимой? Для того, чтобы ответить на этот вопрос, вам понадобится t-критерий.

T-критерий предоставляет возможность определить, насколько статистически значима разница между двумя числами. T-критерии бывают разного типа, каждый из которых рассчитывается по особой формуле.

1. Одновыборочный t-критерий. При расчете этого критерия акцент делается на то, насколько большой оказалась разница между средним полученным показателем (например, NPS) и значением, которое вы указали.

Пример. Цель вашей компании — добиться показателя NPS, который бы значительно превышал стандартное в вашей индустрии значение в 5 пунктов. После проведения последнего опроса оказалось, что ваш показатель лояльности равен 10. Вопрос заключается в том, насколько значима разница между стандартным значением, равным 5, и вашим значением, равным 10?

2. Двухвыборочный t-критерий. Цель проведения этого тестирования заключается в определении разницы между средними показателями двух независимых групп.

Пример. Вы придерживаетесь той версии, что из-за мужчин ваш показатель лояльности ниже. Средний показатель лояльности, полученный в ответах мужчин, равен 9, в то время как средний показатель, полученный в ответах женщин, равен 12. Насколько значима разница между этими двумя показателями?

3. Парный t-критерий. Это тестирование используется в случае, если вы дважды опрашиваете одну и ту же аудиторию. Таким образом, вы можете определить, изменился ли средний показатель.

Пример. Вы дважды провели опрос среди одной и той же группы клиентов — первый опрос в апреле и второй — в мае. Перед вторым опросом вы запустили рекламу, с которой ваши клиенты ознакомились. Изменился ли ваш показатель лояльности после того, как клиенты увидели рекламу?

T-критерий может помочь вам определить, насколько значима разница между значениями, однако решение о том, насколько такая разница значительна — принимать вам. Даже небольшая разница может оказаться значимой в случае, если выборка была большой.

Существует 4 способа:

1. Рассчитайте коэффициент t.
Для разных типов t-критерия используется разная формула для определения коэффициента t (все три формулы указаны в самом конце страницы).

2. Рассчитайте степень свободы.
Степень свободы — это количество вариантов среднего значения. В данном случае, степени свободы равны количеству показателей лояльности в одной группе респондентов. Как и при расчете коэффициента t, формула для определения степени свободы будет зависеть от типа t-критерия, который вы хотите рассчитать.

3. Определите критическое значение.
Критическое значение — это некий порог, при достижении которого считается, что разница между двумя числами является статистически значимой.

4. Сравните абсолютное значение коэффициента t с критическим значением.
Если коэффициент t оказался больше критического значения, то разница считается значимой. Однако, если коэффициент t оказался меньше критического значения, то, выражаясь в терминах статистики, два числа неразличимы.

А теперь давайте посмотрим, как это работает на примере от начала до конца. Вы предполагаете, что из-за мужчин ваш показатель лояльности ниже. Средний показатель лояльности, полученный в ответах мужчин, равен 9, в то время как средний показатель, полученный в ответах женщин, равен 12. Значительная ли разница между 9 и 12? Это отличный пример для применения двухвыборочного t-критерия.

1. Рассчитайте коэффициент t. 

Далее предлагается формула для расчета двухвыборочного t-критерия, где:

2. Рассчитайте степени свободы. 

Эта формула используется для расчета степеней свободы при двухвыборочном t-критерии. Формулы расчета других типов t-критерия приводятся ниже.

3. Определите критическое значение. 

В соответствии с этой таблицей при двустороннем критерии с альфа-уровнем в 0,05 при 41 степени свободы критическое значение равно 2,02. Большинство аналитиков использует именно двусторонний критерий, а не односторонний, поскольку он более консервативен. Более подробно о разнице между двусторонним и односторонним критериями рассказывается в это видео Khan Academy.

4. Сравните абсолютное значение коэффициента t с критическим значением. 

Поскольку абсолютное значение коэффициента t равно 0,86, что ниже критического значения в 2,02, то из этого можно сделать вывод, что показатель лояльности мужчин не особенно ниже показателя лояльности женщин.

Скорее всего, расчет t-критерия вы будете проводить при помощи таблицы или такой программы, как Excel или SPSS, но если вдруг вам захочется заняться вычислениями вручную, вы можете использовать приведенные ниже формулы для двух других типов t-критерия.

Если вы (как и большинство людей) решите произвести расчет t-критерия при помощи таблицы или специальной программы для статистического анализа, то процесс будет немного отличаться. Вместе сопоставления коэффициента t с критическим значением, в большинстве программ производится расчет значения p, которое далее сравнивается с альфа-уровнем (наиболее часто используемый уровень равен 0,05). В таком случае, если значение p ниже значения альфа-уровня, то это говорит о том, что разница значима.

Net Promoter Score является товарным знаком Bain & Company, Inc., Satmetrix Systems, Inc. и F. Reichheld.