Парсинг и добавление товара по ссылке 1688.com в django-проект
7 000 руб. за проект
Коллеги, доброго времени суток.
Вот уже несколько месяцев не доходят руки до написания необходимого функционала для моего интернет-магазина за основу которого я брал не очень удобный, но симпатичный и постоянно поддерживаемый проект Saleor написанный на python/django.
https://github.com/mirumee/saleor
И так, сама задача: Необходимо написать простую форму для парсинга конкретного товара по ссылке с сайта https://www.1688.com/ .
У меня уже есть написанный парсер на scrapy который парсит все товары с данного сайта, могу предоставить все необходимые xpath для получения всей нужной информации. Могу даже скинуть код который добавляет в соответствующие модельки полученные данные(описание, картинки и т.д.)
Ваша задача, создать отдельную страницу, можно в рамках стандартной django-админки, на которую сможет попадать администратор сайта. На этой странице должна быть:
Шаг 1.
одна форма для ввода ссылки и кнопка "добавить".
Шаг 2.
Если товар с такой ссылкой уже есть на сайте, то администратор попадает в админ панель для редактирования данного товара, она уже есть в реализации магазина saleor.
Если товара на сайте нет, то, прежде чем попасть в админ панель для редактирования товара, ваш код парсит все необходимые данные по ссылке, создает все необходимые модельки: товара, вариаций товара, картинок, атрибутов(размер, тип и т.д). Так как все данные на сайте на китайском языке, необходимо при парсинге их перевести, о корректности перевода не задумывайтесь, просто переводите как есть посредством google translate api или yandex translate api, остальное все администратор будет править в ручную.
Пример ссылки товара:
https://detail.1688.com/offer/600230535068.html?spm=a262eq.13251585.jzgyzxx4.9.6f7f31bbpL9xLD&udsPoolId=1451736
при добавлении в базу, мы отсекаем все лишнее после знака ? , в результате у нас получается ссылка
https://detail.1688.com/offer/600230535068.html
Хочу сразу предупредить, на сайте периодически выскакивает просьба авторизоваться. Это одна из задач которую нужно решить. Как ее решить я уже придумал, если найдете иное решение, будем обсуждать.
Решать можно следующим образом:
Для авторизации требуется логин и пароль который я могу предоставить. Дело в том, что после ввода логина и пароля на номер телефона приходит смс сообщение которое тоже нужно ввести.
Варианты:
1) Предлагаю найти виртуальный смс номера с возможностью читать смски по API. Если найдете по адекватной цене, готов проплатить и предоставить доступ.
2) Можно взять за основу обычный GSM модем с симкартой и написать простенький скрипт для чтения из него смсок. А далее вставить в него симкарту, зарегистрировать учетную запись на данную симкарту и тестировать. Так же, готов проплатить все затраты. Если вы из Москвы, готов предоставить необходимое оборудование, если не из Москвы и у вас есть такой модем, можете реализовать на нем и после передачи мне кода, просто скажите марку и модель модема, я такой же себе приобрету. Если модема нет, можете приобрести, готов проплатить.
Вот уже несколько месяцев не доходят руки до написания необходимого функционала для моего интернет-магазина за основу которого я брал не очень удобный, но симпатичный и постоянно поддерживаемый проект Saleor написанный на python/django.
https://github.com/mirumee/saleor
И так, сама задача: Необходимо написать простую форму для парсинга конкретного товара по ссылке с сайта https://www.1688.com/ .
У меня уже есть написанный парсер на scrapy который парсит все товары с данного сайта, могу предоставить все необходимые xpath для получения всей нужной информации. Могу даже скинуть код который добавляет в соответствующие модельки полученные данные(описание, картинки и т.д.)
Ваша задача, создать отдельную страницу, можно в рамках стандартной django-админки, на которую сможет попадать администратор сайта. На этой странице должна быть:
Шаг 1.
одна форма для ввода ссылки и кнопка "добавить".
Шаг 2.
Если товар с такой ссылкой уже есть на сайте, то администратор попадает в админ панель для редактирования данного товара, она уже есть в реализации магазина saleor.
Если товара на сайте нет, то, прежде чем попасть в админ панель для редактирования товара, ваш код парсит все необходимые данные по ссылке, создает все необходимые модельки: товара, вариаций товара, картинок, атрибутов(размер, тип и т.д). Так как все данные на сайте на китайском языке, необходимо при парсинге их перевести, о корректности перевода не задумывайтесь, просто переводите как есть посредством google translate api или yandex translate api, остальное все администратор будет править в ручную.
Пример ссылки товара:
https://detail.1688.com/offer/600230535068.html?spm=a262eq.13251585.jzgyzxx4.9.6f7f31bbpL9xLD&udsPoolId=1451736
при добавлении в базу, мы отсекаем все лишнее после знака ? , в результате у нас получается ссылка
https://detail.1688.com/offer/600230535068.html
Хочу сразу предупредить, на сайте периодически выскакивает просьба авторизоваться. Это одна из задач которую нужно решить. Как ее решить я уже придумал, если найдете иное решение, будем обсуждать.
Решать можно следующим образом:
Для авторизации требуется логин и пароль который я могу предоставить. Дело в том, что после ввода логина и пароля на номер телефона приходит смс сообщение которое тоже нужно ввести.
Варианты:
1) Предлагаю найти виртуальный смс номера с возможностью читать смски по API. Если найдете по адекватной цене, готов проплатить и предоставить доступ.
2) Можно взять за основу обычный GSM модем с симкартой и написать простенький скрипт для чтения из него смсок. А далее вставить в него симкарту, зарегистрировать учетную запись на данную симкарту и тестировать. Так же, готов проплатить все затраты. Если вы из Москвы, готов предоставить необходимое оборудование, если не из Москвы и у вас есть такой модем, можете реализовать на нем и после передачи мне кода, просто скажите марку и модель модема, я такой же себе приобрету. Если модема нет, можете приобрести, готов проплатить.
В заказе есть исполнитель
При переводе заказа из архивного в актуальный, текущий исполнитель будет снят с задачи.
Выберите тип сделки
С безопасной сделкой вы всегда сможете вернуть средства, если что-то пойдет не так. С простой сделкой вы самостоятельно договариваетесь с исполнителем об оплате и берете на себя решение конфликтов.