Парсинг научных статей

40 000 руб. за проект
31 октября 2021, 21:32 • 7 откликов • 199 просмотров
Доработать парсер, который должен парсить 13000 rss ссылок

Есть два микросервсиса - Core и Parser
Core:
- хранит RSS ссылки журналов.
- принимает распарсенную информацию от Parser и сохраняет в БД.
- Содержит статус (success, error) парсинга каждой RSS ссылки

Parser:
- Получает от Core RSS ссылку и переходит на веб страницы указанные в этой ссылке. С веб страниц из head Мета-Тэгов получает необходимую информацию и дообогащает информацию из body страницы.
- Передает данные статьи в Core.

Проблема:
-При обработки rss журнала Parser может вернуть статус 'error' что означает, что парсер не смог получить данные в нужном объеме из этой ссылки.

Что нужно сделать:
Доделать парсер, под каждый журнал, который получил статус error.

Для полного понимания задачи предлагаю скачать приложение для которого реализуется эта задача
https://allpapers.online

В приложении BMPN схема для понимания взаимодействия parser и core

В отклике укажите телеграм

Бюджет обсуждаем
Файлы