Собрать паука для сканирования сайтов на Python

50 000 руб. за проект
17 августа 2022, 14:00 • 9 откликов • 163 просмотра
Требуется собрать паука на основе решений https://www.zyte.com/open-source/ с доработкой под наши нужды.
Требуется сканировать сайты по списку (около 2 млн) на глубину не более 2 и собирать требуемые данные.
Паук должен уметь читать основные форматы текстовых файлов в том числе переводить нужные изображения в текст (ocr)
По сути, паук будет состоять из уже готовых решений с добавлением нашей логики из готовых регулярных выражений и иметь микросервисную архитектуру.