Парсинг avito.ru

10 000 руб. за проект • электронные деньги
27 мая 2014, 12:30 • 8 откликов • 141 просмотр
Необходимо скачать данные c сайта avito.ru.

Список данных, подлежащих парсингу:

1) структура каталога объявлений
2) структура регионов
3) продавцы, включая местоположение, телефон, прочие контактные данные
4) сами объявления с фото, если фото есть (краткие карточки и подробные)

Требования к системе парсинга:

1) нужна админка с возможностью следить за пополнением базы

Админка представляет из себя таблицу, где по горизонтали – временные периоды (часы текущих суток), дни (на неделю назад), и месяцы, а также общее количество скачанных объявлений за весь период парсинга; по вертикали – категории объявлений. Также должны быть рубрикатор и регионатор с количеством спарсенных объявлений по категориям/регионам.

2) парсить необходимо равномерно по категориям объявлений – понемногу из каждой категории
3) возможность работать с миллионами товаров – система должна быть быстрой, оптимизированной и без тормозов
4) система должна уметь парсить быстро, при необходимости задействуя прокси
5) необходимо сохранять исходники в html и картинки
6) при сохранении данных в одном каталоге не должно быть более 10000 файлов
7) средства разработки – PHP и mysql

Платные прокси и быстрый сервер обеспечим.

С предоплатой не работаем. Возможна работа через безопасную сделку.

От Вас необходимо:

- иметь опыт подобной работы (желательно с примерами)
- назвать стоимость работ и сроки
- оценить скорость скачивания (сколько объявлений может быть скачано за сутки)
- уметь выдерживать назначенные сроки