Сделать систему сбора данных по доменам
1 000 руб.за час
нужно сделать систему сбора данных по доменам, работающего с базой данных.
база данных - это список доменов с их характеристиками (по сути одна большая таблица).
действительно большая, ~150 млн строк. на первом этапе только .com домены.
система должна работать как набор cron-скриптов, выполняющий сбор данных.
1) предварительная проверка домена
- проверка whois через прокси, получение дат и ns
- проверка http редиректа (итоговый хост через curl)
- проверка текстового контента страницы на стоп слова
- запись результата проверки в БД (UPDATE по строке таблицы с доменом)
2) снятие скриншотов доменов, прошедших предварительную проверку
3) регулярная перепроверка whois доменов, по которым снят скриншот
все скрипты должны работать эффективно, надежно, многопоточно, параллельно.
оплата почасовая, потому что прикинуть проектные трудозатраты не представляется возможным + по ходу будут правки функционала/уточнения.
стек желательно php/mysql, но обсуждаемо.
сервер и прокси дадим.
база данных - это список доменов с их характеристиками (по сути одна большая таблица).
действительно большая, ~150 млн строк. на первом этапе только .com домены.
система должна работать как набор cron-скриптов, выполняющий сбор данных.
1) предварительная проверка домена
- проверка whois через прокси, получение дат и ns
- проверка http редиректа (итоговый хост через curl)
- проверка текстового контента страницы на стоп слова
- запись результата проверки в БД (UPDATE по строке таблицы с доменом)
2) снятие скриншотов доменов, прошедших предварительную проверку
3) регулярная перепроверка whois доменов, по которым снят скриншот
все скрипты должны работать эффективно, надежно, многопоточно, параллельно.
оплата почасовая, потому что прикинуть проектные трудозатраты не представляется возможным + по ходу будут правки функционала/уточнения.
стек желательно php/mysql, но обсуждаемо.
сервер и прокси дадим.
В заказе есть исполнитель
При переводе заказа из архивного в актуальный, текущий исполнитель будет снят с задачи.
Выберите тип сделки
С безопасной сделкой вы всегда сможете вернуть средства, если что-то пойдет не так. С простой сделкой вы самостоятельно договариваетесь с исполнителем об оплате и берете на себя решение конфликтов.