
Владею собственной платформой для парсинга сайтов. Цель разработки: 1) Максимально быстро собирать большие объемы информации; 2) Легко масштабировать систему и наращивать мощности; 3) Легко управлять процессом сбора; 4) Имитировать человеческое поведение для сбора данных (задержки и т.п.) Большая часть системы написана на С++, может в зависимости от настроек использовать следующий стек технологий: Redis, MongoDB, SQL, Embedded Cromium. Построена на микросервисной технологии. Работает в Linux...