Расчет длины выборки для тестирования
Чтобы повышать эффективность необходимо проводить исследования. Самый распространенный способ исследования— А/В тестирование (контекстных объявлений, эффективности лендингов, посадочных страниц, отдельных элементов и т.д.).
При проведении тестирования очень важно получить достоверные результаты. Ведь по результатам тестирования должен приниматься или отвергаться объект для тестирования. Самая распространенная ошибка при проведении тестирования — слишком раннее прекращение теста.
Простой пример. Организовали сплит-тест. Получили 40 кликов и 3 конверсии по странице_1 и 38 кликов и 2 конверсии по странице_2. Уже можно делать выводы, какую страницу объявить победителем или еще нет?
Переформулировать вопрос нужно так: размер выборки для тестирования достаточен для получения достоверных результатов с заданной статистической точностью?
Ниже приведена простая формула расчета длины выборки тестирования для практического применения (вводные: 95% доверительный интервал, статистическая мощность 80%).
n = (16*p*(1-p))/??,
где ? — минимально обнаруживаемый эффект в %;
p — базовая конверсия
n — итоговое число экспериментов в каждой группе.
Пример расчета длины выборки для сплит-тестирования
Для конверсии (p) в 10% и обнаружении эффекта в 1% (от 9% до 11%) необходима выборка:
n = (16*0,1*(1-0,1))/0,1? = 14 400 участников.
Формула выше вполне подойдет для повседневной работы.
Калькулятор расчета длины выборки
Если вы хотите получить более точное значение длины выборки или же изменить параметры ширины доверительного интервала, либо статистической мощности, то по ссылке ниже вы найдете небольшой калькулятор по расчету длины выборки.
Как пользоваться калькулятором
Прежде всего его вам необходимо скачать файл себе на Google Диск (чтобы появилась возможность внести свои значения).
Некоторые пояснения по калькулятору.
- Базовая вероятность — текущий уровень конверсии (конверсия страницы_1)
- Проверяемая вероятность — конверсия на странице_2.
Далее подставляете в соответствующие ячейки свои значения базовой конверсии и проверяемой конверсии. На выходе получаем расчетное значение длины выборки.
Обратите внимание, что расчетная длина выборки — длина выборки одной группы, это значит, что для проверки 2 страниц, необходимо размер выборки умножить на 2.
