Scrapy. Парсинг информации с участков мировых судов, с разной структурой сайтов.

Добавлено 08 июн 2020 в 16:42
От заказчика стояла задача спарсить определённые свойства гражданских/административных дел с определённых участков мировых судов, таких как: номер дела, город, дата поступления, информация по делу, истец, ответчик, дата решения. Список участков определялся списком городов: под каждый город необходимо собрать список своих участков. В процессе сбора информации её необходимо записывать в БД. Сайты участков мировых судов имеют 3 разных структуры. Под каждый шаблон сайта был написан свой spider, который логировал все действия на консоль и в файл, а также в процессе шла запись данных в БД PostgreSQL. Парсер написан с помощью фреймворка Scrapy. На видео показан пример работы парсера: https://youtu.be/m5kcvbebRYs
4a4470054e