Разработка модуля/микросервиса по парсингу/кравлингу данныйх бойцовюфс

777 777 руб.за час
04 марта 2021, 13:46 • 8 откликов • 100 просмотров
Доброго времени суток!

Что надо сделать?
Надо написать на поддерживаемом языке, с использованием норм библиотек, а не тонн велосипед легаси кода, который у вас тянеться за 10 лет фриланса, модуль, микросервис называйте как угодно здесь есть полет для фантазии, но суть в том, что эта штучка будет запускаться каким-то скриптом по крону и тащить данные, плюс отдельная возможность обновления - синхронизации данных. Складывать она их должна в любую базу(скорее всего постгре), далее уже будет данные использваться другими службами. Ваш код может также не собираться в какой-то бинарь, а быть просто хорошим исходным кодом, который я заинтегрирую в общую кодовую базу, он должен быть чистым и документированным в нужных местах - промышленное качество маст хев. На язык/технологию особых ограничений нет, ровно как и на библиотеки под капотом, однако, стоит учесть, что иногда для качественного кравлинга, а также для обхода разных блокировок на количество запросов, имеет смысл подумать над распределенной архитектурой, где будет что- то типо мастер слейв архитектуры слейвы, будут естесвенно на разных айпи сидеть и можно будет качественно, распараллелено собирать любые данные. Языки, которые как мне кажется подойдут python go swift c ?
Если ты возьмешь и сделаешь это все по красоте, собирешь еще докер образы, прикинешь как оно будет в кубернетесе жить и тд тебе вообще цены нет.

Жду ваших вопросов, предложений по реализации/стеку, цены или лучше цена за час работы и тд.

Спасибо огромное за внимание! Студиям разработки просьба не стучаться, мне нужен один, хороший специалист, который хочет решать интересные и иногда сложные вопросы, он получает от этого кайф и это его жизнь. В идеале долгосрочное сотрудничество, спасибо! Можно кстати и резюме прикрепить :))