А/B-тестирование стало для соло-предпринимателя таким же ритуалом, как утренний кофе. Запустил тест. Посмотрел результаты. Порадовался, что «победа». Но рынок инструментов для A/B-тестов — 850 миллионов долларов в 2024 году, рост 14% в год. И при этом большинство предпринимателей проводят тесты, которые не дают никакой статистической значимости. Они просто тратят время и принимают решения на основе шума. **Проблема первая: у вас слишком маленькая выборка** Чтобы обнаружить относительное изменение конверсии на 10% (допустим, было 3%, стало 3,3%), вам нужно: - 35 000 посетителей на каждую вариацию при статистической мощности 80% - Это примерно 8 дней при 200 посетителях в день - А большинство соло-предпринимателей смотрят результаты через 2 дня и «видят победителя» На маленьких выборках случайные колебания перевешивают реальный эффект. Вы не измеряете разницу — вы смотрите на шум. **Проблема вторая: вы не готовы принять результат** Самое интересное: даже когда тест показывает статистически значимый результат, предприниматель часто его игнорирует. Потому что результат противоречит интуиции. Типичная реакция: - «Это выброс» - «Нужно проверить по другому сегменту» - «Подождём ещё» - «Но я же уверен, что А лучше» Если вы не готовы действовать по результатам теста — не запускайте его. Это просто дорогая форма самоподтверждения. **Что делать вместо этого** 1. **Сначала посчитайте минимальный размер выборки.** Воспользуйтесь калькулятором размера выборки до запуска теста. Если у вас нет 2–4 недель на тест при текущем трафике — отложите. 2. **Определите ONE primary metric.** Не смотрите на 10 метрик одновременно. Одна главная метрика — один победитель. 3. **Запишите своё ожидание ДО теста.** Если результат противоречит ожиданию — это не повод отвергнуть результат. Это повод для рефлексии. 4. **Автоматизируйте критерий остановки.** Не останавливайте тест досрочно и не продлевайте его «just in case». А/B-тестирование — это не магия и не гадание. Это инструмент принятия решений. И он работает только если вы: a) имеете достаточный трафик для статистической значимости б) готовы принять результат, даже если он идёт против вашей интуиции Если ни одного из этих условий нет — вы не тестируете. Вы играете в статистику.