Сохранение результатов xml яндекса

10 000 руб. за проект • наличный расчёт, электронные деньги
21 февраля 2017, 13:05 • 3 отклика • 74 просмотра
Есть база из 3 млн запросов и лимиты XML яндекса 100 тыс / сутки. нужно организовать сохранение результатов топ 100 по запросу. скрипт должен работать по кругу. т.е. проходит всю базу запросов в 3 млн и снова начинает простукивать с начала.

сохранять результаты запроса табличкой в базу
а) id запроса
б) домен
в) позиция
г) дата
д) url страницы

2) сохранять отдельно связь запроса - домен - позиция

требования к по:

* скрипт должен работать как демон.

* база - postgresql

* в скрипте должна быть реализовать поддержка нескольких аккаунтов xml

* если превышены лимиты - стопнуть парсер до следующего часа.

* скрипт не должен падать, если есть ошибки. если что - чтобы просыпался снова и начинал работать. при получении ошибочного ответа от яндекса отправить email уведомление.

* дополнительно скрипт должен сохранять текущую позицию, чтобы при после падения начать работать с места остановки.

* вести лог ошибок
* вести лог последних 20 действий(запрос к яндексу / ответы / запись в бд)
Отзывы
Качественно выполнил работу и в срок. Абсолютно адекватен ) буду обращаться еще
7 лет назад
Адекватый, технически подкованный заказчик.
Ясное тех. задание, всегда на связи, оплата вовремя. Рекомендую.
8 лет назад