Разработать парсер для картографического сайта
10 000 руб. за проект
Название сайта: 2gis
Требования к техническому исполнению парсера:
Полученная
при парсинге информация должна добавятся в базу данных (MySQL). Перед
добавлением информации о новой компании, должна производится проверка
того, есть ли такая компания в базе данных.
Проверка качества выполненной работы:
Перед
сдачей проекта будет проведена проверка качества работы. Проверка будет
произведена путём передачи исполнителю ссылки на произвольную категорию сайта. Работа будет считаться выполненной если парсер скачает всю необходимую информацию из переданной категории.
Срок выполнения проекта: 5 дня с момента оформления заказа
Результат работы:
Конечный результат нужно передать в виде .py скрипта со всеми необходимыми файлами.
Готов ответить на все возникшие вопросы.
Требования к техническому исполнению парсера:
- Парсер должен быть реализован с использованием языка программирования python 3 версии.
- В своей структуре парсер не должен использовать библиотеки для автоматизации браузеров (Selenium и аналогичные библиотеки).
- Парсер должен иметь возможность работы через proxy.
- Для
целей маскировки парсера от различных систем обнаружения ботов,
допускается потеря некоторой доли скорости при процессе парсинга. - Код должен быть хорошо
прокомментирован.
- Название текущей категории
- Сколько страниц из текущей категории было обработано. Пример: Категория: Авторемонт. Страниц обработано: 5/12
- Название компании
- описание компании
- Ссылка на сайт
- Название категории, к которой относится компания
Полученная
при парсинге информация должна добавятся в базу данных (MySQL). Перед
добавлением информации о новой компании, должна производится проверка
того, есть ли такая компания в базе данных.
Проверка качества выполненной работы:
Перед
сдачей проекта будет проведена проверка качества работы. Проверка будет
произведена путём передачи исполнителю ссылки на произвольную категорию сайта. Работа будет считаться выполненной если парсер скачает всю необходимую информацию из переданной категории.
Срок выполнения проекта: 5 дня с момента оформления заказа
Результат работы:
Конечный результат нужно передать в виде .py скрипта со всеми необходимыми файлами.
Готов ответить на все возникшие вопросы.
В заказе есть исполнитель
При переводе заказа из архивного в актуальный, текущий исполнитель будет снят с задачи.
Выберите тип сделки
С безопасной сделкой вы всегда сможете вернуть средства, если что-то пойдет не так. С простой сделкой вы самостоятельно договариваетесь с исполнителем об оплате и берете на себя решение конфликтов.