Ищу Кодера - Node.js / GO от 3 лет - Парсер по спискам доменов

1 200 руб.за час
07 февраля 2020, 19:38 • 11 откликов • 75 просмотров
Ищу Кодера - Node.js / GO от 3 лет - Парсер по спискам доменов

Описываю краткое ТЗ:

Часть 1

1 – Имеем список доменов .ru сегмента, который нужно "распарсить" и сделать из него тематические группы (Рубрики).
2 – Парсер должен по принципу "паука" пройтись по сайтам и собрать их данные.
3 – Глубину погружения в каталоги нужно ограничить до 1-2 страниц. Все сайты с кол-вом страниц от 100, сортировать в отдельную группу и модерировать руками или же искать у них sitemap. (Гипотеза*)
4 – В итоге мы должны получить данные вида :
Domain / emails / ИНН / ОГРН / Регион / Телефон / Title / Description /
5 – Данные будут группироваться и разделяться на рубрики. (За счет ключевых слов в title/description + нужно заложить в конфиг возможность "Стоп слов".
6 – Конечный результат это таблица данных в excel, с ежемесячным обновлением новых данных.

Часть 2

Вынос конфига парсера в вебинтерфейс.