Здравствуйте

у нас парсер URL на ноде слабенько работает. Надо увеличить многократно производительность.

Функционал:

1. Берем список прокси
2. Берем список страниц из базы
3. Парсим контент, мета ключи и описание (npm либа)
4. Пушим все в массив
5. Записываем ключи в базу

Все это на данный момент выдает в среднем 13-15 HTML страниц в секунду. Нам надо это все увеличить многократно. Очевидно что парсер работает не эффективно, нужно пересмотреть код, пересмотреть либы, пересмотреть время выполнения, возможно найти более эффективные либы, возможно в каких-то поковыряться, возможно забуриться аддоны. Результат выполнения должен остаться неизменным.

При достижении эффективной скорости 100+ (итогом на выходе) страниц в секунду 5000р. бонус сверху, 300+ страниц в секунду 7000р. бонус, при достижении скорости 1000+ страниц в секунду 10000р. бонус, 5000+ и выше оговаривается :)