Разработать парсер для картографического сайта
7 000 руб. за проект
Название сайта: 2gis
Требования к техническому исполнению парсера:
Парсер должен быть реализован с использованием языка программирования python 3 версии.
В своей структуре парсер не должен использовать библиотеки для ароматизации браузеров (Selenium и аналогичные библиотеки).
Парсер должен иметь возможность работы через proxy.
Для целей маскировки парсера от различных систем обнаружения ботов, допускается потеря некоторой доли скорости при процессе парсинга.
К коду парсера также должны прилагаться комментарии, которые описывают принцип работы каждого логического блока. Т.е код должен быть хорошо прокомментирован.
В ходе своей работы парсер должен выводить в консоль:
Полученная при парсинге информация должна добавятся в базу данных (MySQL). Перед добавлением информации о новой компании, должна производится проверка того, есть ли такая компания в базе данных.
Проверка качества выполненной работы:
Перед сдачей проекта будет проведена проверка качества работы. Проверка будет произведена путём передачи исполнителю ссылки на одну из категорий сайта.
Работа будет считаться выполненной если парсер скачает всю необходимую информацию из переданной категории.
Срок выполнения проекта: 3 дня
Конечный результат нужно передать в виде .py скрипта со всеми необходимыми файлами.
Требования к техническому исполнению парсера:
Парсер должен быть реализован с использованием языка программирования python 3 версии.
В своей структуре парсер не должен использовать библиотеки для ароматизации браузеров (Selenium и аналогичные библиотеки).
Парсер должен иметь возможность работы через proxy.
Для целей маскировки парсера от различных систем обнаружения ботов, допускается потеря некоторой доли скорости при процессе парсинга.
К коду парсера также должны прилагаться комментарии, которые описывают принцип работы каждого логического блока. Т.е код должен быть хорошо прокомментирован.
В ходе своей работы парсер должен выводить в консоль:
- Текущую категорию
- Сколько страниц из текущей категории было обработано. Пример: страниц обработано: 5/12
- Название компании
- описание компании
- Ссылка на сайт
- Название категории, к которой относится компания
Полученная при парсинге информация должна добавятся в базу данных (MySQL). Перед добавлением информации о новой компании, должна производится проверка того, есть ли такая компания в базе данных.
Проверка качества выполненной работы:
Перед сдачей проекта будет проведена проверка качества работы. Проверка будет произведена путём передачи исполнителю ссылки на одну из категорий сайта.
Работа будет считаться выполненной если парсер скачает всю необходимую информацию из переданной категории.
Срок выполнения проекта: 3 дня
Конечный результат нужно передать в виде .py скрипта со всеми необходимыми файлами.
В заказе есть исполнитель
При переводе заказа из архивного в актуальный, текущий исполнитель будет снят с задачи.
Выберите тип сделки
С безопасной сделкой вы всегда сможете вернуть средства, если что-то пойдет не так. С простой сделкой вы самостоятельно договариваетесь с исполнителем об оплате и берете на себя решение конфликтов.