Ruby: Написать граббер популярного Job сайта используя готовый API gem

Цена договорная • наличный расчёт, безналичный расчёт, электронные деньги
05 декабря 2016, 11:24 • 5 откликов • 72 просмотра
Существует готовый, но крайне неудобно функционирущий граббер резюме с портала по трудоустройству.

Требуется переписать граббер, используя готовые API портала и готовый GEM по работе с данным API (https://github.com/careerbuilder/ruby-cb-api). GEM регулярно обновляется, есть надежда, что написан он качественно.

Собственно, проблемы:

  • Админская и основная часть написана на PHP, с крайне неудобным интерфейсом, с отсутствием визуальной статистики и удобных инструментов для работы с граббером
  • Скрипт на PHP запускает по cron циклы сбора Ruby в консоли, что является малонадежным решением.
Что нужно сделать:

  • Принять решение на чем переписать админскую часть (RoR, PHP ?)
  • Изучить принцип работы текущего граббера
  • Изучить API сайта и Ruby Gem для работы с ним
  • Посмотреть как устроена текущая БД (3+ миллиона записей в БД)
  • Создать новый интерфейс для работы с граббером (Bootstrap подойдет)
  • Добавить функционал для работы с SOCKS серверами для сбора (проверка, добавление, удаление, заметки)
  • Добавить функционал для работы с аккаунтами сайта (проверка, добавление новых, удаление, остановка работы, заметки по аккаунтам и т.п.)
  • Улучшить функционал по работе с ключевыми словами, добавить статистику по ключевым словам
  • Улучшить функционал по работе с шаблонами заданий, с самими заданиями по сбору
Предлагаю обсудить финальную стоимость разработки после более внимательного изучения проекта.