Сделать систему сбора данных по доменам

1 000 руб.за час
18 февраля 2020, 16:18 • 17 откликов • 83 просмотра
нужно сделать систему сбора данных по доменам, работающего с базой данных.
база данных - это список доменов с их характеристиками (по сути одна большая таблица).
действительно большая, ~150 млн строк. на первом этапе только .com домены.
система должна работать как набор cron-скриптов, выполняющий сбор данных.
1) предварительная проверка домена
- проверка whois через прокси, получение дат и ns
- проверка http редиректа (итоговый хост через curl)
- проверка текстового контента страницы на стоп слова
- запись результата проверки в БД (UPDATE по строке таблицы с доменом)
2) снятие скриншотов доменов, прошедших предварительную проверку
3) регулярная перепроверка whois доменов, по которым снят скриншот

все скрипты должны работать эффективно, надежно, многопоточно, параллельно.

оплата почасовая, потому что прикинуть проектные трудозатраты не представляется возможным + по ходу будут правки функционала/уточнения.

стек желательно php/mysql, но обсуждаемо.
сервер и прокси дадим.