A/B-тест: аудитории, офферы и порог остановки

Расчёт выборки по фактической конверсии кабинета: при эффекте в пятую часть нужно около шестнадцати недель — и это честный ответ, а не четыре.

  • Работает из России: рубли, договор с ИП, без VPN и иностранной карты
  • По умолчанию чтение и черновики: запуск и оплату агент делает по вашей команде
  • Числа — съём из Метрики, спроса и выдачи с датой; где стоит «вход кейса», помечено

Что на входе

База

Фактическая конверсия кабинета: 2,51 процента покупки на визит, 8 540 визитов за четыре недели.

  • Гипотеза

    Новый оффер даст прирост покупок на пятую часть. Это минимальный эффект, ради которого стоит менять креатив.

  • Две группы

    Одинаковые кампании, разное объявление. Один оффер, один бюджет, разная формулировка.

  • Риск

    При такой базе и таком эффекте нужны месяцы, а не дни: расчёт даёт около шестнадцати недель. Обещать вывод за три дня — обманывать.

  • Деньги

    Расход на тест ограничен: в файле есть расчёт, сколько будет стоить досрочная остановка.

  • Что решено

    Считаем выборку до старта, фиксируем правило остановки и не смотрим в промежуточные цифры каждые два часа.

Дело

Что считается до первого клика

Размер выборки на группу, срок теста, минимальный обнаружимый эффект и правило, по которому тест прекращается досрочно. Всё это считается по базовой конверсии этого кабинета, а не по средним по рынку. В файле рядом стоят два сценария: какой эффект мы увидим на текущем объёме и сколько нужно денег, чтобы увидеть эффект вдвое меньше.

Две группы и честный порог

Слева две ветки теста, справа шкала, за которой вывод становится законным.

Путь в системах: что берём на входе и что отдаём

  1. 1

    Вход: база

    Конверсия и объём за четыре недели из Метрики — одна строка с источником и датой.

  2. 2

    Расчёт

    Размер выборки на группу при мощности 80 процентов и уровне значимости 5 процентов; срок в неделях при текущем трафике.

  3. 3

    Дизайн теста

    Что меняем, что держим одинаковым, какая цель считается успехом. Одна переменная на тест.

  4. 4

    Выход

    XLSX с расчётом и сценариями, PDF с планом теста и правилом остановки.

  5. 5

    Ход теста

    Промежуточные цифры снимаются раз в неделю, а не ежедневно: иначе вывод будет про шум.

  6. 6

    Итог

    Вывод по правилу, а не по ощущению. Отрицательный результат пишется так же подробно, как положительный.

Агент делает · человек решает

Считает выборку и срокпо фактической базе
Фиксирует порог остановкидо старта
Снимает недельный срези сверяет с планом
Пишет вывод по правилудаже если он отрицательный
Решает, чем рискнутьчеловек: бюджет и сезон
Меняет объявления в кабинетечеловек: доступ
Принимает решение по итогучеловек: внедрять или нет

Что получится на выходе

Лист расчёта целиком: таблица с числами, выводы и источник с датой.

Открыть артефакт

Подключения

Что подключим

Сервис · что читаем · что пишем · что нужно · срок

Границы

Чего агент не делает

Не объявляет победителя на промежуточных данных: вывод только по заранее названному правилу. Не считает значимость «на глаз» — в файле стоит формула и её вход. Не обещает обнаружить эффект в два процента на текущем объёме: считает и говорит, что для этого нужен месяц и другой бюджет. Отрицательный результат не прячет.

Вопросы

Почему нельзя остановить тест, как только стало лучше?

Потому что на коротком отрезке разница чаще всего шум. Правило остановки фиксируется до старта: иначе решение принимает случай.

Сколько недель нужно?

Считается по объёму и базовой конверсии. При 2 135 визитах в неделю и эффекте в пятую часть нужно около шестнадцати недель и почти семнадцать тысяч визитов на группу; эффект в десятую часть — около шестидесяти недель, то есть на этом объёме

Что считается успехом?

Одна цель, названная заранее: покупка. Корзина — промежуточная ступень, по ней вывод не делается.

А если трафика мало?

Тогда тест не начинается: в файле есть порог, ниже которого вывод невозможен, и альтернатива — последовательное сравнение периодов с поправкой.

Кто решает внедрять?

Человек. Агент даёт расчёт и вывод, решение о внедрении — про деньги и сезон.

Что с маркировкой двух вариантов?

Оба креатива маркируются по статье 18.1. Тест не отменяет erid: два варианта — два креатива в ОРД.

Соседние работы

Рядом

Роли

Проверьте одну гипотезу

Пришлите доступ к Метрике и свою гипотезу — вернём расчёт выборки, срок и правило остановки до первого клика.

Telegram
MAX
Спросить здесь