ИИ в отделе: инструкция, контекст и воспроизводимость вместо «у меня работает»

Пятнадцать прогонов пяти задач: с инструкцией совпало 14, без инструкции — 10

  • Работает в ваших сервисах: 1С, база, кабинеты площадок и рекламы, веб-аналитика, почта
  • По умолчанию чтение и расчёт: запись в вашу систему — по вашей команде
  • Данные кейса сконструированы; нормы, формулы и структура документов — настоящие

Дело: пять задач отдела, три прогона каждой и разница в четыре ответа

Кто в деле

Отдел аналитики, пять типовых задач: недельный отчёт, расхождение двух источников, ad hoc про маржу, проверка качества выгрузки, записка.

  • Что было

    У каждого своя формулировка и свой результат. «У меня работает» — и три разных ответа на один вопрос, причём все выглядят разумно.

  • Где развилка

    Запретить или описать? Запрет не работает; описание требует один раз потратить день на инструкцию.

  • Что сделал агент

    Написал инструкцию из семи полей на каждую задачу, собрал контекст (определения метрик, справочник источников, правила обезличивания) и провёл пятнадцать прогонов с журналом.

  • Что нашлось

    С инструкцией совпало 14 прогонов из 15, без инструкции — 10 из 15. Разница не в модели, а в том, что ей дали на входе.

  • Чем закончилось

    Инструкция, контекст и журнал: ответ можно проверить и повторить. Требования к доверию взяты из ГОСТ Р 59276-2020. Прогоны сконструированы как пример.

Задача

Что за работа

Разница между «работает» и «работает у всех одинаково» — это инструкция. Пока её нет, каждый формулирует задачу по-своему, и результат зависит от того, кто писал запрос. Инструкция состоит из семи полей: когда применять, что взять, что сделать, что вернуть, чего не делать, как проверить, где версия. Обезличивание — по ФЗ-152.

Как это выглядит

Инструкция делает результат повторяемым: три прогона — один ответ.

Путь в системах: что берём на входе и что отдаём

  1. 1

    Вход: задачи и их формулировки

    Пять типовых задач отдела в том виде, как их ставят люди. Разные слова на одну работу — это и есть материал.

  2. 2

    Инструкция из семи полей

    Когда применять, что взять, что сделать, что вернуть, чего не делать, как проверить, версия и дата.

  3. 3

    Контекст

    Определения метрик, справочник источников, журнал прошлых ответов, правила обезличивания. Контекст стареет — поэтому у него тоже версия.

  4. 4

    Прогон на воспроизводимость

    Одна задача трижды. Совпало — инструкция работает; не совпало — поле сформулировано как пожелание.

  5. 5

    Выход: набор и журнал

    Инструкции, контекст, журнал прогонов и протокол: что совпало, что нет и почему.

Агент делает · человек решает

Пишет инструкциюсемь полей, версия и дата
Собирает контекстметрики, источники, правила обезличивания
Проверяет воспроизводимостьтри прогона, один результат
Ведёт журналу ответа есть источник и версия
Решает, что автоматизироватьчеловек: приоритет и риск
Отвечает за качество решениячеловек: подпись и ответственность
Разрешает персональные данныечеловек: основания по ФЗ-152

Что получится на выходе

Набор инструкций, контекст и протокол пятнадцати прогонов с результатом по каждому.

Открыть артефакт

Подключения

Что подключим

Сервис · что читаем и пишем · что нужно от вас · срок

Границы

Чего агент не делает

Агент не решает, какие задачи отдела можно автоматизировать: это вопрос риска и ответственности. Он не работает с персональными данными без правового основания по ФЗ-152 и не выгружает их во внешние сервисы. И он не обещает, что инструкция сделает результат идеальным: она делает его повторяемым — это разные вещи, и в протоколе видно, где совпало, а где нет.

Вопросы

Чем инструкция отличается от промпта?

Промпт — сообщение на один раз, инструкция — документ с версией, который применяется к классу задач и проверяется прогоном. Промпт нельзя принять на работу, инструкцию можно.

Сколько прогонов нужно для проверки?

Минимум три на задачу: два совпадения могут быть случайными. В кейсе пятнадцать прогонов на пять задач, и разница с инструкцией и без неё видна сразу.

Что делать, если результат всё равно расходится?

Искать поле, сформулированное как пожелание. «Сделай красиво» не проверяется; «сумма вкладов равна итогу» проверяется.

Можно ли класть в контекст данные клиента?

Только обезличенные и только с правовым основанием по ФЗ-152. Правила обезличивания — часть контекста, а не отдельная памятка.

Что даёт ГОСТ Р 59276-2020 на практике?

Список того, что нужно предъявить: прослеживаемость ответа, воспроизводимость, критерий качества, управление изменениями. Это ровно те четыре вещи, которых обычно нет.

Соседние работы

Рядом

Опишем пять ваших задач так, чтобы результат повторялся

Нужны формулировки задач — вернём инструкции и протокол

Telegram
MAX
Спросить здесь