Подготовка данных: пять тысяч строк, шесть дефектов и журнал, по которому это повторится

Датасет пригоден не когда «почистили», а когда проходят правила

  • Работает в ваших сервисах: 1С, база, кабинеты площадок и рекламы, веб-аналитика, почта
  • По умолчанию чтение и расчёт: запись в вашу систему — по вашей команде
  • Данные кейса сконструированы; нормы, формулы и структура документов — настоящие

Дело: 5 047 строк, шесть типов дефектов, три формата даты

Кто в деле

Выгрузка заказов за квартал: 5 047 строк, 14 колонок, четыре канала продаж. Файл собран из трёх источников, каждый со своими привычками.

  • Что было

    3 формата даты, 11 вариантов написания города, 47 дублей, 107 отрицательных количеств, пустые клиенты и каналы. Файл открывался, но анализировать его было нельзя.

  • Где развилка

    Удалить всё подозрительное или разложить по причинам? Удаление даёт красивую таблицу и потерянную выручку возвратов.

  • Что сделал агент

    Прогнал шесть правил, разложил дефекты по причинам, привёл даты и справочник городов к одному виду и записал журнал шагов.

  • Что осталось

    4 894 строки пригодны к анализу; 107 отрицательных количеств вынесены в отдельный лист возвратов, 47 дублей убраны по ключу дата + артикул + количество + цена.

  • Чем закончилось

    Тот же вход даёт тот же выход: журнал шагов превращает чистку в воспроизводимую операцию. Данные кейса сконструированы, файл сгенерирован в этом прогоне.

Задача

Что за работа

Пригодность данных — не вкус, а набор проверок: уникальность ключа, диапазон даты, знак количества, справочник значений. Пока правил нет, каждый чистит по-своему, и два отчёта по одному файлу расходятся. Работа начинается с профиля: что было, что стало, какое правило отбросило строку. Персональные данные — только по ФЗ-152.

Как это выглядит

Профиль до и после: видно, какое правило что убрало и почему.

Путь в системах: что берём на входе и что отдаём

  1. 1

    Вход: файл или выгрузка

    CSV, XLSX или ответ API. Источник фиксируется вместе с датой выгрузки: без этого невозможно повторить результат.

  2. 2

    Профиль дефектов

    До анализа считается, что не так: форматы даты, варианты справочника, дубли, пустые ключи, отрицательные значения.

  3. 3

    Правила, а не правки

    Каждое правило пронумеровано и подписано: что проверяет и что делает со строкой, которая не прошла.

  4. 4

    Приведение к виду

    Даты к одному формату, справочник к ограниченному набору значений, пропуски помечены, а не заполнены догадкой.

  5. 5

    Выход: датасет и журнал

    Пригодная таблица, лист возвратов, лист правил и журнал шагов — по нему чистка повторяется на следующем периоде.

Агент делает · человек решает

Считает профильчто в файле не так, до анализа
Применяет правилапронумерованные и подписанные
Сохраняет фактывозвраты выносятся, а не удаляются
Пишет журналтот же вход даёт тот же выход
Решает, что считать дефектомчеловек: это про смысл данных
Заполняет пропуски догадкойникто: пустое остаётся помеченным
Отвечает за персональные данныечеловек: основания обработки по ФЗ-152

Что получится на выходе

Профиль 5 047 строк до и после, шесть правил и лист возвратов — весь разбор в одном файле.

Открыть артефакт

Подключения

Что подключим

Сервис · что читаем и пишем · что нужно от вас · срок

Границы

Чего агент не делает

Агент не решает, что считать дефектом, — это вопрос смысла данных, а не техники. Он не заполняет пропуски догадкой и не удаляет неудобные строки: возвраты и аномалии остаются в файле, но помечены. Он не работает с персональными данными без правового основания по ФЗ-152 и не выгружает их в сторонние сервисы.

Вопросы

Почему нельзя просто удалить строки с минусом?

Потому что отрицательное количество — это возврат или сторно, то есть факт хозяйственной жизни. Удалить его значит завысить выручку и не увидеть причину возвратов.

Что делать с пустым клиентом?

Оставить и пометить. Заказ без клиента всё равно заказ; потерять его из-за пустого поля хуже, чем посчитать с оговоркой.

Зачем журнал, если есть готовый файл?

Через месяц никто не помнит, что сделали с городом «Спб». Журнал превращает чистку в операцию, которую можно повторить на следующем периоде и проверить.

Сколько правил нужно?

Столько, сколько дефектов. В кейсе шесть — по числу найденных проблем. Правило без дефекта не пишется: оно создаёт работу, а не убирает её.

Что если источник отдаёт данные по-разному каждый раз?

Тогда правила проверяются на каждом прогоне, а расхождение показывается. Стабильность источника — вопрос к владельцу системы, а не повод молча подстраиваться.

Соседние работы

Рядом

Пришлите файл — вернём профиль дефектов и пригодный датасет

Покажем, какие правила сработали на ваших данных, и отдадим журнал шагов.

Telegram
MAX
Спросить здесь