Требуется написать парсеры(цена указана за один сайт) под несколько сайтов, а также адаптировать написанные разработчиком парсеры, если сайты будут меняться.
Среднее время реализации парсера при должной подготовке 2-4 дня. Мы предлагаем оплату через безопасную сделку.

Основная задача состоит в том, чтобы парсить данные стабильно, быстро и незаметно для сайтов, язык на котором вы будете писать не важен, нужно выбрать оптимальный под каждый сайт.

Вам предстоит исследовать сайт – выяснить как фронтенд взаимодействует в бэкендом, найти полезные эндпоинты, которые отдают данные. Наилучший вариант – если вы найдете как подписаться на пуши ( например по вебсокету или graphql) если они есть.
Также достаточно хороши эндпоинты отдающие интересующие нас данные как текущие снимки состояний или инкрементальные обновления через pull.

Подробное тз составлено.

Требования:
хорошее знание html, js, jquery, api, rest. (пригодится при исследовании сайтов, дефакто стандарт )
умение писать асинхронный код – promises, async/await. (необходимо для handle повторяющихся запросов, в том числе возможно через пул прокси)
хорошо притворяться сайтом при написании своего клиента. бережно прописывать все хедеры, юзерагенты и т.д.

желательно, понимание современных веб фреймворков (для более точного понимания работы исследуемых сайтов)
желательно, понимание как работает push и subscription (не обязательно для некоторых сайтов, где нет таких транспортов)

в идеале – python3+aiohttp, нам будет проще поддерживать. но учитывая что это будет контейнер – черный ящик в принципе нас устроит все что запихивается в докер под никсами.

опыт работы в unix like ос и docker. (точное описание окружение или сразу написание Dockerfile – вообще топ)

Тз вышлем по запросу.