Доработать скрапер на node.js для GIS ресурса
10 000 руб. за проект
Необходимо проверить работоспособность скрапера для сбора актуальных данных и подготовить получаемые данные для дальнейшего использования на серверах компании.
Реализован скрапер данных с GIS ресурса на node.js. для сбора более 100 млн записей.
Скрапер работает как "сканер", который окнами в 256х256 проходит по области карты, с шагом в 128, с отсевом дубликатов, и записывает ИЛИ обновляет старые данные если они есть по ID
Цель задачи: Обновить базу полигонов + boundary координаты каждого полигона, что бы мы смогли воссоздать обновленную карту на своем ресурсе
Для ее достижения необходимо:
- проверить и при необходимости доработать реализацию потокового сбора данных;
- проверить и при необходимости доработать метод склейки получаемых полигонов (так как сканирование производится в областях квадратов, участки попадающие на границы могу обрезаться. их необходимо склеивать обратно);
- проверить и при необходимости доработать методы сверки и замены данных в бд;
Реализован скрапер данных с GIS ресурса на node.js. для сбора более 100 млн записей.
Скрапер работает как "сканер", который окнами в 256х256 проходит по области карты, с шагом в 128, с отсевом дубликатов, и записывает ИЛИ обновляет старые данные если они есть по ID
Цель задачи: Обновить базу полигонов + boundary координаты каждого полигона, что бы мы смогли воссоздать обновленную карту на своем ресурсе
Для ее достижения необходимо:
- проверить и при необходимости доработать реализацию потокового сбора данных;
- проверить и при необходимости доработать метод склейки получаемых полигонов (так как сканирование производится в областях квадратов, участки попадающие на границы могу обрезаться. их необходимо склеивать обратно);
- проверить и при необходимости доработать методы сверки и замены данных в бд;
В заказе есть исполнитель
При переводе заказа из архивного в актуальный, текущий исполнитель будет снят с задачи.
Выберите тип сделки
С безопасной сделкой вы всегда сможете вернуть средства, если что-то пойдет не так. С простой сделкой вы самостоятельно договариваетесь с исполнителем об оплате и берете на себя решение конфликтов.