Разработать скрипт, который будет в параллельном режиме сверять список сайтов с базой данных сайта, но не напрямую, а через специальную форму.

После разработки скрипт можно будет разместить на любом сайте и через веб интерфейс запускать его. Сравниваться будут добавленный список сайтов и база сайта на наличие одинаковых сайтов в базе. Проверку нужно запускать параллельно, так как если делать все однопоточным способом, будет крайне долго, так как каждая проверка занимает 30-40 секунд. Это нужно учесть, чтобы сервер не блокировал скрипт. После анализа списка и сравнения его с базой скрипт запишет новый файл txt или csv, или же выдаст список под формой проверки с результатами (сайтами) которых не было в базе. Те же сайты, которые присутствовали в базе с негативными ответами, скрипт удалит из списка.

Нужно учесть, что в базе есть два позитивных ответа, которые
будут восприниматься как сигнал для скрипта, что сайт нужно оставлять в
таблице. Это два ответа, описанных ниже. Если же ответ будет содержать любое
другое слово, то сайт будет удаляться скриптом из списка.


Все сайты, что в файле, что в базе содержатся в одинаковой
форме, без http:// и
без www.


Для работы доступ к базе будет предоставляться на последнем
этапе, также будут предоставлены htmlфайлы из базы с разными результатами
ответов.

Подробнее в прикрепленном ТЗ.