Парсить сайты и записывать данные в БД

12 000 руб. за проект • электронные деньги
14 февраля 2018, 23:53 • 6 откликов • 116 просмотров
При отсылке своего ответа, укажите пожалуйста, пожалуйста:

  • С базами данных какого размера у вас был опыт работы (желательно, чтобы несколько миллионов записей у вас не вызывали вопросов, проблем и тормозов).
  • Был ли опыт CodeIgniter (необязательно, но для дальнейшей работы пригодиться)
  • Есть ли опыт администрирования серверов (есть и тут подработка)
  • Был ли опыт написания парсеров (на самом деле это основной вопрос)
  • Какое количество часов готовы работать за указанную з/п и какой график был бы для вас удобен
  • Также, надеюсь вас не затруднит прислать свой скайп для оперативной связи)
Требования для идеального кандидата (необязательные):

  • HTML5
  • CSS3
  • JS
  • PHP (обязательно)
  • Codeigniter
  • YII
  • MySQL (обязательно)
  • Apache
  • nginx
  • Big-data
  • memcached (желательно)
  • Sphinx (желательно)
  • Опыт работы с большими проектами (крайне желательно)
Обязанности:

  • Парсинг различных сайтов
  • Дальнейшем разработка проектов с очень большими базами данных объявлений, оптимизация скорости сайта
Конкретика:

  • Спарсить несколько миллионов объявления с сайта Авито и залить их в БД. Необходимо парсить все существующие поля объявлений, включая фотографии, их тоже надо скачать и записать на диск
  • Спарсить несколько сот тысяч автомобильных/мото/запчасти объявлений с англоязычного сайт с такими объявлениями.
Поделиться