Имеем большой опыт в разработке пауков на scrapy.
От проектов по сбору данных с одного сайта до wide crawling.
Использование Splash и построение сложных прцоессов пред- и пост обработки.