Тест хука: четыре варианта, контроль и стоп-правило на шести тысячах
Работа
Где здесь работа, а не файл
«Тестировать гипотезы по контенту» чаще всего значит менять всё сразу и потом не понимать, что сработало. Тест строится иначе: одна гипотеза, четыре варианта — три хука и контроль, равная выборка, одна метрика и стоп-правило. Контроль обязателен: без него «стало лучше» не с чем сравнить.
Четыре варианта на равной выборке
Норма, по которой проверяется
| Одна гипотеза — одно изменение | Меняется только первая строка. Тело, кадр и время выхода те же, иначе разрыв нельзя отнести к хуку. |
|---|---|
| Выборка не меньше шести тысяч показов | Меньше — процент гуляет от двух реакций. Число берём из расчёта, а не из удобства. |
| ст. 5 ч. 3 ФЗ-38 | Гипотеза не проверяется на запрещённом обещании: «гарантируем», «лучший», «без ошибок». Тест не делает нарушение допустимым. |
| ст. 18.1 ФЗ-38 | Если тестируемая публикация рекламная, метка и erid стоят и в тесте: тест — не исключение из маркировки. |
Как идёт работа: вход, шаги, выход
- 1
Формулирует гипотезу
Одну и проверяемую: «вопрос в первой строке даёт больше реакций, чем утверждение».
- 2
Готовит четыре варианта
Три хука и контроль — обычная первая строка. Контроль и есть точка отсчёта.
- 3
Держит выборку
Равные показы на вариант, одна метрика, окно наблюдения 48 часов.
- 4
Применяет стоп-правило
Разрыв больше двух раз — останавливаем, не ждём полной выборки: тратить показы незачем.
- 5
Фиксирует вывод
Победитель, проигравшие и что это не доказывает. Один тест — один вывод.
Агент делает. Вы решаете.
| Агент считает | Выборку, реакции к охвату, разрыв с контролем. |
|---|---|
| Агент останавливает | Тест по стоп-правилу, чтобы не сжигать показы. |
| Вы решаете | Какой хук становится основным и пробовать ли второй тест. |
| Вы отвечаете | За обещание в хуке: тест не оправдывает запрещённую формулировку. |
Подключения
Что подключим
Статус назван честно: обещание — с условием и сроком
ВКонтакте
подключим · охват и реакции по каждой публикации теста; нужен ключ сообщества, срок — день.
Telegram
подключим · просмотры и репосты вариантов; нужен бот-токен и права администратора, срок — день.
Что было дальше
подключим · переходы и заявки с публикации, а не только реакции; нужен доступ к счётчику, срок — день.
Внешний замер
подключим · второй источник по охвату: расхождение с кабинетом видно сразу; нужен доступ, срок — до трёх дней.
- API есть — пишем коннектор под ваш сервис.
- API есть, но нужен договор — сначала проба, потом статус «по запросу».
- API нет — выгрузка файлом, разбор тот же.
Данные
Откуда берётся вход
Прошлые публикации
Обычный охват аккаунта — без него не посчитать выборку и контроль.
Креатив
Тело поста и кадр: они в тесте не меняются.
Метрика
Что считаем реакцией и за какое окно — до старта, а не после.
Предел
Что видно в четырёх вариантах
Четыре варианта на равной выборке: 6 400, 6 350, 6 380 и 6 410 показов. Вопрос в первой строке дал 6,4 %, цифра — 4,7 %, обещание срока — 4,5 %, контроль — 3,1 %. Разрыв с контролем 3,3 пункта. Стоп-правило не сработало: разрыв меньше двух раз, поэтому ждали полной выборки.
Развилка: три пути и их последствия
| Менять всё сразу | Кажется быстрее: новый хук, новый кадр, другое время. Потом невозможно сказать, что дало прирост, и следующий пост снова угадывают. |
|---|---|
| Смотреть на лайки без контроля | «Стало больше» без точки отсчёта — это ощущение. Сегодня лайков больше, потому что лента другая, а не потому, что хук лучше. |
| Одна гипотеза и контроль | Дольше на старте и однозначно на выходе: есть победитель, есть проигравшие, есть цифра разрыва и понимание, что делать дальше. |
Границы
Что агент не делает
Не тестирует запрещённые формулировки: «гарантируем» и «лучший» — ст. 5 ч. 3 ФЗ-38, и тест их не легализует. Не считает процент на малой выборке. Не выдаёт один тест за закономерность: это данные одного месяца и одного бренда. Не выбирает хук за вас — решение остаётся человеку.
Возражения
Что обычно спрашивают до входа
«У нас мало показов, тест невозможен»
Тогда тест не проводится, и это честный ответ. Вместо процента — абсолютные числа и осторожный вывод.
«Мы и так знаем, что вопросы работают»
Тогда тест это подтвердит и даст цифру разрыва. Знание без цифры не переносится на другую аудиторию.
«Это же только первая строка, какая разница»
Разница в 3,3 пункта на равной выборке — как раз про первую строку. Дальше решает содержание, но до него нужно дойти.
Частые вопросы
Почему нужен контроль
Без него неизвестно, с чем сравнивать. Контроль — обычная первая строка, которая показывает, что было бы без изменений.
Сколько вариантов нужно
В кейсе четыре: три гипотезы и контроль. Меньше двух гипотез — нет выбора, больше четырёх — выборка на вариант становится слишком маленькой.
Что считается реакцией
Зависит от площадки: лайк, репост, комментарий. Набор фиксируется до старта, иначе метрика «поплывёт» между вариантами.
Можно ли тестировать на рекламном бюджете
Да, и тогда метка рекламы и erid обязательны — ст. 18.1 ФЗ-38. Тест не отменяет маркировку.
Что делать с проигравшими
Не выбрасывать: они показывают границу приёма. Через месяц тот же хук может сработать на другой аудитории — это проверяется вторым тестом.
Куда дальше
Соседние компетенции
Разбор вирусных роликов
Откуда взять гипотезы: приёмы из чужих публикаций, которые стоит проверить.
ER по площадкам: три знаменателя
Каким процентом мерить результат теста и почему знаменатель важен.
SMM-специалист: все десять компетенций
Страница роли: что агент забирает и что остаётся человеку.
- Компаниям: договор с ИП в России, счёт и закрывающие документы, НДС к вычету
- Рубли, без VPN и иностранной карты: открывается из России
- Электронную подпись агент не получает: подпись и выпуск остаются у вас
Роли
Справки
Поставить тест на первую строку
Пришлите доступ к кабинету и гипотезу — вернём дизайн теста, выборку и вывод по цифрам.