Требуется собрать паука на основе решений https://www.zyte.com/open-source/ с доработкой под наши нужды.
Требуется сканировать сайты по списку (около 2 млн) на глубину не более 2 и собирать требуемые данные.
Паук должен уметь читать основные форматы текстовых файлов в том числе переводить нужные изображения в текст (ocr)
По сути, паук будет состоять из уже готовых решений с добавлением нашей логики из готовых регулярных выражений и иметь микросервисную архитектуру.