A/B-тест и продуктовые метрики: что выросло и почему

Предмет

Что здесь работа, а не файл

Отчёт показывает процент, а решение требует понимать, что тест мог увидеть, а что нет. Здесь посчитаны z, p-value, доверительный интервал, минимально обнаружимый эффект и нужное число наблюдений. Вывод звучит как «катим, но проверяем удержание», а не «победа».

Тест: разница, значимость и предел чувствительности

Из чисел выведено не только «стало лучше», но и «меньше этого тест бы не увидел»

Критерий приёмки: по чему работа считается сделанной

Одна главная метрикаИз десяти метрик одна «значима» случайно — остальные остаются наблюдаемыми, без права решать
Горизонт зафиксирован до стартаПодглядывание за p-value каждый день превращает тест в подбрасывание монеты
MDE считается заранееЕсли эффект меньше минимально обнаружимого, это не тест, а год наблюдений

Как идёт работа

  1. 1

    Зафиксировать план

    Главная метрика, горизонт, нужное число наблюдений — до старта, а не после

  2. 2

    Проверить чистоту

    Распределение трафика, отсутствие пересечений, одинаковые источники

  3. 3

    Посчитать статистику

    Разница, z, p-value, интервал на разность, MDE при мощности 80 %

  4. 4

    Назвать предел

    Что тест не доказывает: срок жизни эффекта, причину, малые эффекты

  5. 5

    Дать решение

    Катить, не катить, катить и смотреть вторичную метрику — с обоснованием

Открыть результат

Агент делает. Вы решаете.

Агент считаетСтатистику, интервалы, MDE и нужное число наблюдений — проверяемыми формулами
Агент называет пределЧто тест не доказывает — отдельным разделом, а не мелким шрифтом
Вы решаете про раскаткуСтатистика говорит «эффект есть»; раскатывать ли на всех и когда — решение продукта
Вы отвечаете за метрикуЧто считать главным и что вторичным — ваш выбор, и он делается до старта

Подключения

Что подключим

Статус каждой системы назван честно: обещание — с условием и сроком

Данные

Откуда берутся цифры

  • События продукта

    Конверсии по группам — из счётчика или базы, а не из отчёта

  • План теста

    Метрика, горизонт, объём — фиксируются до старта

  • История похожих тестов

    Чтобы не проверять одно и то же третий раз

  • Ваше решение

    Порог, при котором катим: он задаётся заранее, а не после результата

Как проверить

Три вопроса к любому тесту

Спросите, какая метрика была главной и когда это решили. Попросите интервал, а не только процент: если ноль входит в интервал, эффекта нет. И спросите про MDE — меньше какого эффекта тест не увидел бы. Если ответа нет, вывод сделан по красивой цифре, а не по расчёту.

Развилка: три пути и их последствия

А: катить сразуЭффект значим, интервал не включает ноль — но причина неизвестна, и удержание не проверено
Б: катить и смотреть удержаниеРост регистраций без удержания даёт отток через месяц — медленнее, но честнее
В: не катитьЕсли интервал широкий, а эффект мал, выигрыш может быть меньше стоимости поддержки двух вариантов

Границы

Что агент не делает

Тест не доказывает причину: изменились три элемента сразу — значит это проверка набора, а не кнопки. Он не гарантирует, что эффект сохранится: горизонт ограничен. Он не работает на малых эффектах: ниже MDE результат неотличим от случайности, и никакая статистика этого не исправит. И он не отменяет решения человека: последний шаг всегда за продуктом.

Возражения

Что обычно спрашивают до входа

  • У нас мало трафика

    Тогда честный ответ — MDE: тест увидит только крупный эффект. Это лучше, чем «значимость» на двухстах пользователях

  • Метрик много, какая главная

    Одна. Остальные можно смотреть, но решать по ним нельзя — иначе находим «победу» случайно

  • Агент подгонит вывод

    Он считает по формулам и отдельным разделом пишет, чего тест не доказывает — включая собственный предел чувствительности

Частые вопросы

Что такое MDE

Минимальный эффект, который тест способен обнаружить при заданных объёме, мощности и уровне значимости

Почему нельзя подглядывать

Каждый взгляд — это ещё одна проверка гипотезы; на десятом взгляде «значимость» появляется случайно

Что делать с сегментами

Показывать как объяснение, а не как основание: поиск сегмента с эффектом почти всегда находит его случайно

Сколько держать тест

Столько, сколько запланировано до старта. Остановка «когда стало значимо» завышает эффект

Куда дальше

Соседние компетенции

  • Рубли без VPN
  • Договор с ИП
  • Данные в России
  • Чтение по умолчанию
  • Токены в подарок

Роли

Принесите выгрузку теста — заберёте расчёт с пределом чувствительности

Агент посчитает значимость, интервал и MDE и скажет, чего этот тест доказать не может.

Telegram
MAX
Посчитать A/B-тест