Одна из самых частых ошибок в A/B тестах — запуск “на глаз”. В итоге бизнес получает либо ложноположительный результат, либо не видит реальный эффект. Размер выборки нужен, чтобы тест был статистически надежным и отвечал на главный вопрос: сколько пользователей нужно, чтобы заметить изменение метрики.
Что влияет на размер выборки
- Базовая конверсия — текущий уровень метрики, например 10%.
- MDE (minimum detectable effect) — минимальный эффект, который важно поймать. Например, рост с 10% до 11%.
- Уровень значимости (alpha) — обычно 0,05. Это риск ошибочно увидеть эффект там, где его нет.
- Мощность теста (power) — обычно 80% или 90%. Это вероятность найти реальный эффект.
- Тип теста — односторонний или двусторонний. На практике чаще используют двусторонний.
Базовая логика
Чем:
- ниже текущая конверсия,
- меньше ожидаемый эффект,
- выше требования к точности,
тем больше нужна выборка.
Если вы хотите заметить изменение на 0,5 п.п., пользователей потребуется значительно больше, чем для эффекта в 5 п.п. 🔍
Пример
Допустим:
- текущая конверсия = 10%
- хотим увидеть рост до 11%
- alpha = 0,05
- power = 80%
В таком случае потребуется примерно 14–15 тысяч пользователей на каждую группу. То есть всего около 30 тысяч участников.
Упрощенная формула для конверсий
Для сравнения двух долей часто используют расчет через: — baseline conversion — expected uplift — z-score для alpha и power
На практике вручную считают редко — удобнее использовать:
- Evan Miller Sample Size Calculator
- Optimizely Sample Size Calculator
- AB Tasty Calculator
- встроенные инструменты в аналитических платформах ⚙️
Как не ошибиться
- Не считайте выборку после старта теста — это нужно делать заранее.
- Не останавливайте тест раньше времени, если “уже вроде победитель”.
- Учитывайте сезонность и источники трафика — иначе выборка может быть формально достаточной, но выводы будут искажены.
- Проверяйте SRM (sample ratio mismatch) — равномерно ли распределился трафик между группами.
- Не пытайтесь ловить слишком маленький эффект, если он не имеет бизнес-смысла.
Практическое правило
Если изменение не окупает затраты даже при статистической значимости, такой тест не имеет ценности. Поэтому размер выборки нужно считать не только от математики, но и от бизнес-эффекта 💡
Итог: расчет размера выборки в A/B тесте — это баланс между скоростью эксперимента, точностью и значимостью результата. Грамотный расчет экономит трафик, деньги и защищает от неверных решений 🚀
Подборка каналов про IT — в ленте, стоит заглянуть 👀