Работа России: ИИ-агент для выгрузок по API

Портал «Работа России» публикует вакансии как открытые данные и отдаёт их через API без ключа. Агент нужен администратору, который строит на этих данных свою выгрузку.

Агент — программа, которая делает дело целиком. Она сама листает страницы API, складывает записи в базу и возвращается с готовым набором данных.

Признаков три: работает в ваших сервисах, доводит дело до конца, работает без вас. Чат-бот подскажет адрес метода, агент соберёт выгрузку за месяц.

Коннектор — подключение агента к открытым данным портала. Ключ и пароль не нужны: доступ не выдаётся, данные открыты. Подключение — это адрес API, номер версии и формат ответа.

Связь проверяется запросом к списку вакансий с limit и offset: пришёл ответ с общим числом записей — канал живой.

API открытых данных отдаёт вакансии методом GET, версия стоит в пути, ответ только в JSON. Даты идут по ISO 8601, страница вмещает до ста записей, ответ целиком — до десяти тысяч. Схема полей описана в WADL, конверт ответа несёт статус, версию, общее число записей и результаты.

Срезы есть по компании, по ИНН и ОГРН, по региону и отрасли. Изменения забирают с даты через modifiedFrom.

### Своя система по API

Агент разворачивает выгрузку в вашу базу: читает WADL, составляет список полей и листает страницы через limit и offset. Записи он складывает с ключом по идентификатору вакансии, поэтому повторная загрузка не плодит копий. Дальше он ходит за изменениями через modifiedFrom и не тянет весь массив заново. Отчёт о загрузке приходит числом строк, списком ошибок и временем последней страницы.

### Пересчёт чужой таблицы

Агент берёт присланную таблицу с числом вакансий по регионам, повторяет те же срезы через API и пересчитывает цифры. Расхождения он показывает построчно: было в таблице, стало по данным портала, разница и дата выгрузки. Итог — та же таблица с колонкой расхождений и ссылкой на источник, а не новая выгрузка с нуля. Спорные строки он не правит, а помечает.

### Индексация и техошибки

Агент проверяет каждый ответ: статус в конверте, код ответа, полноту страницы. Ошибку сервера он отличает от пустой выборки, повторяет запрос позже и пишет в журнал номер страницы, параметры и время. Пропущенные страницы и дубликаты он ищет по идентификаторам вакансий, а не по числу строк в ответе. Журнал отдаётся вместе с выгрузкой, чтобы причина сбоя была видна.

Схема хранения, расписание выгрузок и трактовка расхождений — за администратором. Агент приносит данные и журнал.

Ключ не нужен: доступ к открытым данным не выдаётся. Нужны адрес API, версия в пути и параметры limit с offset.

Не пишет в портал и не подаёт заявок. Не чинит ошибку на стороне сервиса. Не выдаёт неполную выгрузку за полную.

Что такое агент, если коротко? Программа, которая выполняет дело целиком: листает API, складывает записи и отдаёт готовую выгрузку. От чат-бота отличается тем, что возвращается с данными.

Что такое коннектор? Подключение агента к открытому API портала. Ключа нет, доступ не выдаётся: подключение — это адрес, версия и формат ответа.