Отчёт по исследованию: с интервалом и тремя отозванными выводами

Сначала проверяется выборка, потом печатается вывод: если интервал накрывает порог, утверждение в отчёт не идёт

  • Работает в ваших сервисах: таблицы, анкеты, CRM, почта — без VPN и иностранной карты
  • По умолчанию чтение и расчёт: метод и вывод утверждает человек
  • Формулы открыты: ошибка доли, интервал и z-тест считаются от ваших чисел

Дело: 480 анкет, шесть страт и три вывода, которые пришлось отозвать

Кто в деле

Компания с базой клиентов и двумя каналами продаж. Исследование заказано, чтобы понять, почему клиенты уходят.

  • Что было

    Анкета из двенадцати вопросов, 480 ответов, шесть страт. В черновике отчёта выводы стояли твёрдо: уходят из-за цены, скидка важнее срока, крупный чек уходит за ценой.

  • Что показала проверка

    Две страты недобраны: шестьдесят две из ста и тридцать три из шестидесяти. По цене интервал накрывает порог, по скидке разница в пределах случайной, по крупному чеку данных меньше половины плана.

  • Где развилка

    Напечатать выводы, потому что «клиенты же так сказали», — или отозвать три из шести и оставить то, что держит статистика. Второе выглядит слабее на слайде и выдерживает вопрос на защите.

  • Что сделал агент

    Посчитал ошибку доли по стратам, поставил интервал каждому утверждению, прогнал z-тест разницы между «ответили в день» и «ответили позже» и пометил три вывода как недоказанные.

  • Чем закончилось

    Доказано одно: клиенты, которым ответили в день обращения, возвращаются значимо чаще. Остальное — гипотезы для следующей волны. Данные кейса сконструированы.

Задача

Что за работа

Аналитический отчёт отличается от пересказа анкеты одной вещью: у каждого вывода видно, на чём он стоит. Доля без ошибки выборки — это мнение, а не результат. Поэтому работа начинается со страт и плана, а не с формулировки вывода: сначала считается, сколько данных есть, и только потом — что из них следует.

Предел

Предел: что внутри отчёта

Шесть страт с планом и фактом, ошибка доли по каждой и общий интервал. Шесть утверждений с нижней и верхней границей и вердиктом: подтверждено, опровергнуто, не доказано. Отдельный лист разницы двух долей с z-тестом. В pdf — те же числа и прямая фраза о том, что три вывода отозваны, а не «требуют уточнения».

Как это выглядит

Перечёркнутая строка в отчёте — это работа, а не брак: она снимает вопрос, который всё равно зададут.

Путь в системах: что берём и что отдаём

  1. 1

    Вход: анкеты и план выборки

    Ответы, страты, план по каждой. Если плана не было — он восстанавливается по факту и помечается как восстановленный.

  2. 2

    Ошибка доли

    Для каждой страты считается ошибка при 95 % доверии. Недобор сразу виден: там, где факт вдвое меньше плана, интервал широкий.

  3. 3

    Интервалы утверждений

    Каждое утверждение получает нижнюю и верхнюю границу и порог, с которым сравнивается. Пересечение порога — не вывод.

  4. 4

    Разница двух долей

    z-тест отвечает на вопрос «разница настоящая или случайная». Без него «ответили в день» и «ответили позже» выглядят одинаково.

  5. 5

    Выход: отчёт с оговорками

    Таблица с проверкой, доклад в pdf. Метод и итоговый вывод утверждает человек: это его подпись.

Агент делает · человек решает

Считает ошибку доли по стратамплан против факта, доверие 95 %
Считает интервал утверждениянижняя и верхняя граница, порог
Сравнивает две долиz-тест: значима ли разница
Помечает недоказанное«не доказано» вместо мягкого «требует уточнения»
Утверждает метод исследованиячеловек: аналитик или руководитель
Решает, что делать по итогамчеловек: это решение по продукту
Подписывает отчёт заказчикучеловек

Открыть артефакт

Подключения

Что подключим

Сервис · что читаем · что пишем · что нужно · срок

Границы

Чего агент не делает

Агент не придумывает внешний замер и не подставляет рыночные доли: если нужен показатель рынка, он называется источником, а не числом. Он не утверждает метод исследования и не подписывает отчёт. Анкета не заменяет независимую оценку: самооценка клиента — это данные о словах, а не о поведении.

Вопросы

Зачем считать ошибку, если ответов много?

Ошибка зависит не только от числа ответов, но и от доли: при доле около половины и небольших стратах интервал широкий. Без этого «сорок один процент» звучит как факт, хотя это оценка с разбросом.

Что значит «не доказано»?

Что интервал утверждения накрывает порог, с которым мы его сравниваем. Это не «нет», это «данных не хватило» — и в отчёте так и написано, чтобы не рождать ложную уверенность.

Можно ли считать по всей базе, а не по выборке?

Можно, если есть данные о поведении всех клиентов. Тогда это не исследование, а выгрузка, и интервалы не нужны — нужна сверка источников.

Почему нельзя объединить страты, чтобы получить значимость?

Можно, если страты однородны. Обычно они разные по определению: объединение даёт средний эффект, которого нет ни в одной группе, — и вывод становится неверным.

Что остаётся человеку, если расчёт готов?

Метод: сколько волн, какие вопросы, кому верить. И решение — например, менять доставку или цену. Агент считает и предупреждает, где данных мало.

Соседние работы

Рядом

Роли

Проверьте вывод, который собираетесь защищать

Пришлите выгрузку ответов — вернём отчёт с проверкой выборки и списком того, что данных не держит.

Telegram
MAX
Показать отчёт с интервалами