Мониторинг: прогноз исчерпания ресурсов и разбор дампа

Тридцать дней метрик: тренд, порог, дата исчерпания и разбор падения по дампу. Прогноз проверяется на истории, а порог выбирается по темпу, а не по привычке.

  • Работает из России: рубли, договор с ИП, без VPN и иностранной карты
  • Метрики читаются из вашей системы мониторинга, агент не становится точкой отказа
  • Числа кейса помечены; метод расчёта и пороги — рабочие

Дело: 62 % занято, 53.1 ГБ свободно и шесть падений за три недели

Кто в деле

Сервер приложений с базой и журналами, том на 140 ГБ, шестнадцать гигабайт памяти. Мониторинг настроен давно, но смотрит на текущее значение: «свободно 53 ГБ, всё в порядке».

  • Что не сходится

    За три недели шесть падений. Каждый раз «неожиданно»: по мониторингу место было, по памяти тоже. Причина падений в дампе есть, но её никто не открывал — открывали график и перезапускали.

  • Что показывает расчёт

    Темп последней недели 4.33 ГБ в сутки, и он выше среднего за месяц (2.91): потребление ускоряется. При таком темпе порог 85 % будет пройден около 2026-10-07, место кончится около 2026-10-12.

  • Почему повторяется

    У одного регламентного задания выборка без ограничения периода: результат целиком держится в памяти. Это не отказ платформы, а настройка, и она повторяется по расписанию — поэтому и падения повторяются.

  • Что сделал агент

    Посчитал тренд и дату, разобрал дамп до конкретного вызова, поставил два порога вместо одного «на 95 %» и добавил проверку прогноза на истории. Перезапуск перестал быть лечением.

Задача

Что показывает тренд

Текущее значение говорит, где мы сейчас; тренд — когда станет поздно. Дату даёт линейная аппроксимация по истории, но средний темп за месяц скрывает ускорение: недельный темп обычно строже. Поэтому в расчёте две оценки, и расхождение между ними — тоже результат: оно показывает, что потребление растёт. Порог ставится по скорости роста, а не по привычке «90 % — уже поздно».

Когда кончится диск

Порог — не «90 % на всякий случай», а точка, от которой хватает времени действовать

Сценарий

Путь в системах: что берём на входе и что отдаём

  1. 1

    Вход: метрики

    Из вашей системы мониторинга: диск, память, очереди, возраст копий. Истории в тридцать дней хватает для тренда, в семь — для проверки темпа.

  2. 2

    Расчёт тренда

    Наименьшие квадраты по истории плюс отдельно темп последней недели. Две оценки не дублируют друг друга: расхождение показывает ускорение.

  3. 3

    Пороги

    Два уровня на показатель: предупреждение и действие. Порог выводится из скорости роста и времени на реакцию, а не назначается круглым числом.

  4. 4

    Разбор падения

    Дамп и снимок ресурсов: что вызывало, сколько памяти держало, что писалось в журнал. Причина формулируется вызовом и настройкой.

  5. 5

    Выход: прогноз, пороги, разбор

    Файл метрик с прогнозом, регламент порогов, разбор дампа с рекомендацией и сроком.

Агент делает · человек решает

Считает тренд и датудве оценки: месяц и неделя, расхождение отдельно
Проверяет прогноз на историидвадцать дней против последних десяти
Предлагает порогииз темпа и времени реакции, два уровня
Разбирает дампвызов, память, журнал — до конкретной настройки
человек: расширяет томпокупка дисков и работы на узле
человек: меняет настройкуправка регламентного задания в рабочей базе
человек: решает про деньгибюджет и приоритет между системами

Что получится на выходе

Прогноз как дата: с ней можно планировать работы, а не ждать отказа

Открыть артефакт

Подключения

Что подключим

Сервис · что читаем · что пишем · что нужно от вас · срок

Чего агент не делает

Границы работы

Агент не расширяет том и не меняет настройки в рабочей базе: это работы с последствием. Не обещает, что прогноз сбудется: дата — оценка по темпу, и в отчёте стоит слово «примерно». Не держит мониторинг на себе: если агент — единственная точка наблюдения, пропуск события становится слепым. И не лечит падение перезапуском: перезапуск без причины возвращает отказ по расписанию.

Вопросы

У нас нет истории метрик. Что делать?

Собирать: тренд появляется через две-три недели. До этого работает только порог по свободному месту, и это честно написано в отчёте.

Почему два порога, а не один?

Потому что действие занимает время. Предупреждение даёт запас на решение, действие — на работу. Один порог на 95 % оставляет сутки и никакого выбора, кроме ночного расширения.

Насколько точен прогноз?

Он проверяется на истории: считаем по первым двадцати дням и сравниваем с фактом последних десяти. Расхождение больше трёх дней — модель не годится, и мы это пишем.

Кто разбирает дамп?

Агент читает и формулирует причину, администратор подтверждает и меняет настройку. Правка в рабочей базе — действие человека.

Это заменяет дежурного?

Нет. Агент считает и разбирает, дежурный действует.

Соседние работы

Рядом

Подключения

Роли

Дайте выгрузку метрик за месяц — вернём дату исчерпания и пороги

На выходе: тренд, дата порога и исчерпания, регламент двух порогов и разбор дампа с рекомендацией.

Telegram
MAX
Спросить здесь