Нужно разработать JS парсер для программы A-parser - поисковый робот (краулер, crawler, он же спайдер, spider). Робот должен ходить по ссылкам сайта аналогично встроенному в A-parser парсеру HTML::LinkExtractor, но обязательно учитывая инструкции robots.txt сайтов (по умолчанию). Также робот должен собирать множество данных со страниц, которые он обходит (по аналогии с десктопным софтом NetPeak Spider). Должны быть кастомные входные настройки. Подробности характеристик для сбора и входных настроек в описании ниже.


Пожалуйста внимательно прочитайте задание от начала до конца (особенно дополнение по ссылке). Не буду отвечать и сотрудничать с людьми, не читающими задания и отвечающими роботами во все темы подряд!

Более полное описание задания в GoogleDocs по ссылке:
ТЗ JS Spider Robots A-parser

Дополнительная документация по парсерам JS A-parser:
Парсеры на JavaScript A-parser: Обзор возможностей
Описание методов (JavaScript A-parser API v2)


Порядок работы и оплаты:
Согласовываем с исполнителем цену (строго в рублях) и сроки. Если условия устраивают и меня и вас - работаем!
Работаю строго без предоплат!