Парсинг и добавление товара по ссылке 1688.com в django-проект

7 000 руб. за проект
24 октября 2019, 14:28 • 1 отклик • 45 просмотров
Коллеги, доброго времени суток.

Вот уже несколько месяцев не доходят руки до написания необходимого функционала для моего интернет-магазина за основу которого я брал не очень удобный, но симпатичный и постоянно поддерживаемый проект Saleor написанный на python/django.
https://github.com/mirumee/saleor


И так, сама задача: Необходимо написать простую форму для парсинга конкретного товара по ссылке с сайта https://www.1688.com/ .


У меня уже есть написанный парсер на scrapy который парсит все товары с данного сайта, могу предоставить все необходимые xpath для получения всей нужной информации. Могу даже скинуть код который добавляет в соответствующие модельки полученные данные(описание, картинки и т.д.)

Ваша задача, создать отдельную страницу, можно в рамках стандартной django-админки, на которую сможет попадать администратор сайта. На этой странице должна быть:

Шаг 1.
одна форма для ввода ссылки и кнопка "добавить".

Шаг 2.
Если товар с такой ссылкой уже есть на сайте, то администратор попадает в админ панель для редактирования данного товара, она уже есть в реализации магазина saleor.

Если товара на сайте нет, то, прежде чем попасть в админ панель для редактирования товара, ваш код парсит все необходимые данные по ссылке, создает все необходимые модельки: товара, вариаций товара, картинок, атрибутов(размер, тип и т.д). Так как все данные на сайте на китайском языке, необходимо при парсинге их перевести, о корректности перевода не задумывайтесь, просто переводите как есть посредством google translate api или yandex translate api, остальное все администратор будет править в ручную.


Пример ссылки товара:
https://detail.1688.com/offer/600230535068.html?spm=a262eq.13251585.jzgyzxx4.9.6f7f31bbpL9xLD&udsPoolId=1451736

при добавлении в базу, мы отсекаем все лишнее после знака ? , в результате у нас получается ссылка
https://detail.1688.com/offer/600230535068.html


Хочу сразу предупредить, на сайте периодически выскакивает просьба авторизоваться. Это одна из задач которую нужно решить. Как ее решить я уже придумал, если найдете иное решение, будем обсуждать.

Решать можно следующим образом:
Для авторизации требуется логин и пароль который я могу предоставить. Дело в том, что после ввода логина и пароля на номер телефона приходит смс сообщение которое тоже нужно ввести.
Варианты:
1) Предлагаю найти виртуальный смс номера с возможностью читать смски по API. Если найдете по адекватной цене, готов проплатить и предоставить доступ.

2) Можно взять за основу обычный GSM модем с симкартой и написать простенький скрипт для чтения из него смсок. А далее вставить в него симкарту, зарегистрировать учетную запись на данную симкарту и тестировать. Так же, готов проплатить все затраты. Если вы из Москвы, готов предоставить необходимое оборудование, если не из Москвы и у вас есть такой модем, можете реализовать на нем и после передачи мне кода, просто скажите марку и модель модема, я такой же себе приобрету. Если модема нет, можете приобрести, готов проплатить.