Написать скрипт (решение) для парсинга данных с сайта

6 000 руб. за проект
13 мая 2021, 16:28 • 18 откликов • 92 просмотра
Необходимо написать скрипт (придумать решение) для парсинга данных с сайта. Скрипт мы будем использовать на нашем сайте для парсинга данных с другого сайта.
Примерно 40-50 страниц сайт отдаёт, потом блокирует IP примерно на сутки. Сайт пришлю по запросу. Мы отправляем запрос в виде ИНН, например 7712040126, а должны получить все данные по компании: адрес, ФИО дир-ра и т. д. Мы будем использовать этот скрипт в 3 вариантах: 1) Загрузжать единичные данные по компании, не очень часто, например 2-3 компании в минуту, потом большой перерыв 2) Загружать данные по 10-50 компаниям за раз, то есть загрузили, потом несколько часов перерыв 3) Загружать данные по 2000-3000 за раз (1 компания в 1-2 секунды — нормальная скорость. Потом перерыв на день-два. Но это примерное описание использования. Нам требуется стабильность в работе. Нежелательно чтобы были перебои. Но это касается только пунктов 1 и 2. По 3 пункту небольшие перебои не критичны. Количество полей - 60. Это Краткое название компании без ОПФ, ОПФ, Полное название компании, Юридический адрес, КПП, ОГРН, ОКПО, ОКТМО и так далее. Наш сайт на MODX. Спарсенные данные надо будет сохранять в базу.
Скрипт должен работать с нашего сайта. Сайт на MODX. Если без прокси сделать невозможно, то лучше сделать возможность чтобы автоматически собирались бесплатные прокси и с них шёл запрос.