Калькулятор для A/B-тестирования

При экспериментах с A/B-тестированием статистическая значимость определяет, насколько вероятно, что различие между контрольной версией и тестовой версией экспериментальных данных не вызвана ошибкой или случайностью.

Например, если вы провели тестирование с уровнем значимости 95%, то можете быть на 95% уверены, что различия реальны.

В бизнесе статистическая значимость часто используется для наблюдения за влиянием экспериментов на коэффициент конверсии бизнеса. В сфере опросов статистическая значимость обычно позволяет измерить, насколько можно доверять результатам опроса. Например, если в опросе спрашивается, какую из двух рекламных концепций предпочитают участники, вам надо убедиться, что различие в результатах статистически значимо, прежде чем решить, какую из этих концепций использовать.

Все начинается с формирования гипотезы. В любом эксперименте существует нулевая гипотеза, которая утверждает, что никакой связи между сравниваемыми фактами нет, и альтернативная гипотеза. Альтернативная гипотеза обычно пытается доказать, что связь существует, и это утверждение вы пытаетесь подтвердить экспериментом. Если говорить про A/B-тестирование коэффициента конверсии, гипотеза предполагает, что добавление кнопки, изображения или какого-то текста на страницу влияет на коэффициент конверсии. Если использовать опросы для проверки концепций, как в примере выше, ваша гипотеза может включать тестирование различных вариантов рекламы на привлекательность для потребителей.

Иногда после формулирования нулевых и альтернативных гипотез статистики проводят тесты для проверки состоятельности своих гипотез. Мерой состоятельности нулевой гипотезы является Z-оценка. Она может показать вам, что между сравниваемыми фактами на самом деле нет никакой связи. P-значение показывает, достаточны ли доказательства, которые у Вас имеются, для подтверждения альтернативной гипотезы.

При проведении тестов на статистическую значимость полезно выбрать, каким будет тест: односторонним или двусторонним (или, как еще говорят, одновыборочным или двухвыборочным). В одностороннем тесте предполагается, что ваша альтернативная гипотеза будет иметь направленный эффект, тогда как двусторонний тест предусматривает, что гипотеза также может оказать негативное влияние на результаты. Как правило, двусторонний тест дает более консервативные выводы.

Даже профессиональные статистики используют для расчета значимости и подтверждающих ее тестов специальные программы для статистического моделирования, поэтому мы здесь не будем подробно рассматривать этот механизм. Однако, проводя A/B-тестирование, вы можете использовать калькулятор, приведенный вверху этой страницы, для вычисления статистической значимости результатов. Если вам нужно рассчитать значимость результатов опроса, SurveyMonkey может сделать это автоматически.