Парсинг контента

3 000 руб. за проект
04 августа 2020, 21:18 • 17 откликов • 140 просмотров
Для парсера я арендую сервер Linux/MSServer 2013 - на ваш выбор.
Задача парсера:
1 - открыть сайт
2 - по шагово открывать новость и копировать себе в базу:
- Название
- Описание
- Категория
- Фото превью
- Фото с полной новости
- Название скачанного файла (если файлов несколько каждое название на строку)
3 - Нажимать на ссылку и скачивать файл (ссылка прямая будет). Файл сохраняется на сервер в папку общую.
4 - Название файла также копируется в базу (для удобства поиска)
5 - Просмотр базы на ваш выбор. Либо excell документ, либо онлайн некая таблица формируется.
6 - Файлов на сайте более 100000. Парсер должен безотказно работать в течении месяца.
7 - Чтобы одну и туже новость не копировать, парсер должен запоминать пути.

Если вы все это сделаете на отдельном домене, чтобы в конечном результате в отчете я видел прямые ссылки на файлы, фото - будет здорово.