Node JS парсер URL через прокси (доделать)

5 000 руб. за проект • наличный расчёт, электронные деньги
20 сентября 2017, 16:55 • 11 откликов • 70 просмотров
Здравствуйте

у нас парсер URL на ноде слабенько работает. Надо увеличить многократно производительность.

Функционал:

1. Берем список прокси
2. Берем список страниц из базы
3. Парсим контент, мета ключи и описание (npm либа)
4. Пушим все в массив
5. Записываем ключи в базу

Все это на данный момент выдает в среднем 13-15 HTML страниц в секунду. Нам надо это все увеличить многократно. Очевидно что парсер работает не эффективно, нужно пересмотреть код, пересмотреть либы, пересмотреть время выполнения, возможно найти более эффективные либы, возможно в каких-то поковыряться, возможно забуриться аддоны. Результат выполнения должен остаться неизменным.

При достижении эффективной скорости 100+ (итогом на выходе) страниц в секунду 5000р. бонус сверху, 300+ страниц в секунду 7000р. бонус, при достижении скорости 1000+ страниц в секунду 10000р. бонус, 5000+ и выше оговаривается :)
Отзывы
R50 7fe1ff290edd08c0a3a579cc7c2e2c0d
Заказчик
Сотрудничеством доволен. NodeJs и Linux хорошо знает и использует в работе. Буду еще обращаться.
3 года назад
R50 819f56c13962cff27836619d325a634d
Фрилансер
Самые приятные впечатления от сотрудничества и общения.
Расчет без проблем и задержек.
3 года назад