Необходимо разработать клиент для промышленного парсинга магазинов (маркетплейсов в т.ч.)

Необходима автоматическая адаптация клиента в выборе метода/стратегии парсинга (прямое чтение, обращение под маской, обращения под соксами/проксями, ведение истории проксей/заголовков, умение выбираться из краткосрочных банов, информативный логгер обращений).

По умолчанию подразумаевается поддержка консольной работы с клиентом.

К ВОПРОСУ О ПРОМЫШЛЕННОМ ХАРАКТЕРЕ
Круглосуточная прогонка всей базы источников (>1K) на проверку изменений в позициях(>1000M). Высокая нагрузка. Многопоточность. Масштабируемость. Все потребляемые клиентом ресурсы (память) должны быть строго обоснованы. На подходе к mvp вы будете обеспечены коммандой разработчиков и тестировщико, если возникнет необходимость.

Требуется ООП и обилие интерфейсов. Уверенный опыть в вопросах архитектуры ПО. Способность быть тимлидом при необходимости.

Необходимо самое профессиональное решение морфологического вопроса, абсолютно во всех аспектах/моментах, которых он касается, тобишь начиная от полнотекстового поиска и вплоть до построения адекватного дерева категорий и его соответствия всей базе позиций. Вполне возможно для этого понадобится отдельный специалист, поэтому укажите, если у вас нет подобного опыта, и соотв. опишите, если таковой имеется.

Mvp или хотя бы зачатки рабочего продукта необходимы не дольше, чем через 5-6 месяцев. Дальнейшие разработка и развитие продукта вполне возможны, если будут уместны, а ваша компетенция окажется редкой.

ТЗ не сформирован, будет через 2-3 недели, если не возьметесь сами.

Знание английского на уровне понимания речи носителя.