Разработка парсера картографического сайта

6 000 руб. за проект
28 мая 2021, 12:17 • 4 отклика • 23 просмотра
Название сайта: 2gis.ru
Пошаговая схема работы парсера:
  1. Получить из файла city.txt необходимый город (только 1 строчка)
  2. Получить из файла categories.txt категорию для парсинга (многострочный файл)
  3. Перейти на страницу категории по сформированной ссылке (домен + название города + название категории)
  4. В цикле обработать все карточки компаний на текущей странице, путём описанным в пункте "обработка карточки компании"
  5. Перейти на следующую страницу текущей категории до тех пор, пока не будут обработаны все страницы текущей категории
  6. После полной обработки категории, полученной во втором пункте, перейти к следующей категории из файла categories.txt
  7. Повторить процесс, описанный выше до полной обработки файла categories.txt
Обработка карточки компании
  1. Получить ссылку на страницу компании из заголовка текущей карточки
  2. Перейти по ссылке полученной в первом пункте
  3. На странице копании необходимо получить следующую информацию: название копании, описание компании, ссылка на сайт компании.
  4. Загрузить полученную в 3 пункте информацию в MySQL базу данных, дополнительно указав название категории, из которой была получена информация о данной компании
Требования к общей работе парсера:
  • Парсер должен работать в многопоточном режиме
  • Раз в n запросов (оптимальное значение выберется исполнителем) парсер должен производить смену ip адреса (подразумевается работа через proxy) и значения UserAgent
Проверка выполненной работы
Исполнитель должен записать ролик, в котором демонстрируется полная обработка выбранной заказчиком категории.

Срок выполнения работы: с 28.05.2021 по 30.05.2021
Отзывы
Avatar r50 a6ce93fe35b158fd29ba0e8681c918c22117160e9586a56eee4ffbc20df9bda1
Заказчик
 
4 месяца назад
R50 0af2bba0ff0e8c8f15bbcf4cbe294b31
Фрилансер
Все быстро обсудили, адекватный заказчик, качественно поставленное ТЗ радует. Рекомендую к работе!
4 месяца назад