Нужно создать веб - приложение или это будет модуль поиска сайтов. Задача которого делать автоматический поиска сайтов по заданным характеристикам в Яндекс, по готвому сценарию. По реализации предпочитаю что бы было сделано на Python.
Суть такая, когда идет включается таймер или вручную модуль обращается к Yandex Search и выполняет запросы(настраиваемый список) согласно активным поисковым настройкам. Найденные сайты сохраняются в реестр сайтов. В процессе работы модуль исключает из результатов сайты, указанные в белом списке, и сайты, помеченные статусом «Исключен» (настраиваемые справочники), а также дубли. Для каждого запроса фиксируется время и результат последнего поиска, включая отметки об успешности или ошибках. В результате работы модуля формируется список сайтов. Список сайтов, в том числе адрес, домен, время обнаружения и текст поискового запроса, сохраняются в таблице БД.
Список экранных веб форм:
Форма управления настройками модуля: позволяет задать периодичность запуска и параметры подключения к Yandex Search.
Форма управления процессом поиска: предоставляет возможность запуска и остановки алгоритма поиска с отображением сообщения об успешности запуска или остановки.
Форма редактирования списка поисковых запросов: включает функционал создания, чтения, обновления и удаления (CRUD) поисковых запросов.
Форма редактирования белого списка: позволяет добавлять и удалять сайты, которые не должны отображаться в результатах поиска.
Форма просмотра списка сайтов: позволяет просматривать список найденных сайтов с возможностью редактирования их статуса (не обработан/исключен).
Форма редактирования справочника Объектов: поддерживает CRUD-операции для справочника объектов, к которым могут относиться сайты.
Форма просмотра логов работы модуля: отображает информацию о событиях работы модуля, таких как запуск, остановка, обработка запросов и ошибки.
И по готовности работы должен быть такой результат, будет в виде готового к развертыванию докер контейнера и исходного кода. Система должна быть полностью автономная. Все таблицы БД разворачиваются с нуля при первом запуске модуля. Желательно, чтобы также заносились тестовые данные. Максимальное использование стандартных компонентов и технологий (расписание, логирование, ORM для работы с БД и т.д.). Если хотите, что то уточнить или изменить - предлагайте. Основной приоритет - это скорость реализации модуля.