Fullstack .Net C# Developer
Total Control
Добавлено
25 апр 2024 в 17:10
"Total Control" is a versatile data scraping system designed to bypass Cloudflare protection by simulating user behavior to appear as a genuine visitor. The project integrates with Linken Sphere and MultiLoginX services to create profiles/sessions that avoid blocks, with data collection and navigation powered by Selenium.
How It Works: The backend issues tasks with URLs for processing, prompting the software to navigate to each site and send gathered data back to the server for final HTML parsing. The program operates on a lifecycle timer; at the end of each cycle, it restarts and begins a new session. Tasks are handled individually — for instance, the backend might request, "Navigate to google.com and click a link." The software executes this task and waits for further instructions until the backend confirms completion.
_____________________________________________________
Проект "Total Control" представляет собой универсальную систему для парсинга данных с сайтов, обходящую защиту Cloudflare и имитирующую действия пользователя, чтобы выглядеть как реальный посетитель.
Проект интегрирован с сервисами Linken Sphere и MultiLoginX для создания профилей/сессий, позволяющих избежать блокировок, а сбор данных и навигация происходят через Selenium.
Принцип действия: Бэкэнд отправляет задания на обработку ссылок, после чего софт осуществляет переходы и отправляет собранные данные серверу, где они подвергаются окончательному парсингу HTML. У программы имеется свой жизненный цикл, основанный на таймере, по окончанию которого происходит рестарт и ж.ц. начинается по новой. Работа происходит по принципу заданий, например: бэкэнд присылает задание "Перейти на google.com и кликнуть по ссылке", далее софт обрабатывает это задание и приступает к выполнению, после успешного выполнения задания софт ожидает новых заданий от бэка и так, пока бэкэнд не сообщит, что работа не завершена.
Links:
Linken Sphere: https://ls.app
MultiLoginX: https://help.multilogin.com/en_US/multilogin-x
How It Works: The backend issues tasks with URLs for processing, prompting the software to navigate to each site and send gathered data back to the server for final HTML parsing. The program operates on a lifecycle timer; at the end of each cycle, it restarts and begins a new session. Tasks are handled individually — for instance, the backend might request, "Navigate to google.com and click a link." The software executes this task and waits for further instructions until the backend confirms completion.
_____________________________________________________
Проект "Total Control" представляет собой универсальную систему для парсинга данных с сайтов, обходящую защиту Cloudflare и имитирующую действия пользователя, чтобы выглядеть как реальный посетитель.
Проект интегрирован с сервисами Linken Sphere и MultiLoginX для создания профилей/сессий, позволяющих избежать блокировок, а сбор данных и навигация происходят через Selenium.
Принцип действия: Бэкэнд отправляет задания на обработку ссылок, после чего софт осуществляет переходы и отправляет собранные данные серверу, где они подвергаются окончательному парсингу HTML. У программы имеется свой жизненный цикл, основанный на таймере, по окончанию которого происходит рестарт и ж.ц. начинается по новой. Работа происходит по принципу заданий, например: бэкэнд присылает задание "Перейти на google.com и кликнуть по ссылке", далее софт обрабатывает это задание и приступает к выполнению, после успешного выполнения задания софт ожидает новых заданий от бэка и так, пока бэкэнд не сообщит, что работа не завершена.
Links:
Linken Sphere: https://ls.app
MultiLoginX: https://help.multilogin.com/en_US/multilogin-x
