Доработка нескольких парсеров и создание новых на PHP в Linux

Цена договорная
09 августа 2020, 13:08 • 13 откликов • 61 просмотр
Доработка нескольких парсеров и создание новых на PHP в Linux Debian.
Цена договорная

На данный момент есть парсеры которые нуждаются в доработке и в дальнейшней поддержке.
Все парсеры работают на Linux Debian и все сделаны на PHP. Все работы только через GitLab .
После наладки парсеров будет предложено сделать новые.

Что нужно сделать на данный момент:
Научить парсер передавать лог сайту котрый работает с ним .
Настроить парсеры на создания логов .
Настроить фильтры очищающие значения названиий (только у некоторых парсеров).
Перенастройка таблицы связанные с тоаврами которые парсятся (описания,характеристики,и все связанное с товаром).
Более подробно о задачах будет ставиться непосредственно в диалоге с разработчиком сайта на который отправляются данные парсера и поэтапно будут делаться.
Оплата будет каждый раз по окончанию каждого из этапов .


Описание и особенности работы парсера:
Парсеры построены на PHP - собирают данные и отдают данные по API сайту.

- сайт может стучаться по API к парсеру и принимать различные данные
* полный парсинг данных
* товары не удаляются из базы если даже у поставщика они более не доступны
* проверка на наличие у поставщика существующих уже товаров а так же новых включая (различные статусы и их цвет) если страница товара доступна то проверяет статус и цену если не доступна то сигнализирует о том что страница более не доступна .
* проверка цены (обновление цены на сайте)
* id товаров (присваивает каждому уникальный)
* фильтры и очистка названий товара от добавляемых слов поставщиками
* парсер парсит структуру дерева категорий и присваивает id категориям и подкатегориям для того чтобы правильно добавлять товары на сайте
* парсер находит не нужные значения у продуктов и очищает их (фильтры)
* индикация работы парсера перед сайтом(лог) - авторизация,

* Название продукта (требуется фильтрация текста и очистка от определенных фраз)
* Код продукта
* Картинки продукта обязательно те что большие а не маленькие из кеша сайта донора (ссылки)
* Ссылка на продукт
* Ссылка на продукт на странице вендора (если есть)
* Описания (требуется фильтрация текста и очистка от определенных фраз и слов) передается в виде HTML
* Характеристики (требуется фильтрация текста и очистка от определенных фраз и слов)
* Наличие (доступность к заказу)
* Статусы наличия (текст статуса включая цвет текста и описания статуса)
* Если страница более не доступна парсер сообщает о недоступности текстом ( страница не существует-красный цвет)
* дерево категорий групп товаров
* производитель
Парсеры будут дорабатываться и далее.

Работа онлайн на постоянной связи с разработчиком сайта. (телеграм и скайп).
Оплата или поэтапная после каждой задачи или можно через безопасную сделку тут .