Загрузка контента третьего сайта на своем домене, модификация realtime

50 000 руб. за проект
31 декабря 2024, 03:58 • 25 откликов • 131 просмотр
Нужно разработать серверную систему загрузки контента третьих сайтов на основе прокси и модификации контента в реальном времени.

- Когда юзер заходит на домен, сервер не хостит контент, а динамически подгружает и показывает контент с другого указанного админом сайта.
- Админ указывает в конфиге текст, который должен быть спарсен и изменен или заблокирован в реальном времени, незаметно для юзера. В конфиге указывается какие страницы сайта должны быть полностью заблокированы и/или правила замены текста.
- Подгружаемый контент незаметно модифицируется согласно правилам и шаблонам и показывается юзеру.
- При изменении конфиг файлов, правила отображение сайта обновляются в реальном времени.
- В зависимости от правил третьих сайтов и сложности задач по парсингу, разработчик продолжает поддержку продукта и предоставляет услугу создания конфигов под отдельный сайт. В любом случае, понадобится понятный формат конфиг файлов и мануал.

Возможные варианты реализации из ChatGPT:

- NGINX Reverse Proxy, HTTP Proxy.
- Проксификаторы, DOM парсеры и модификаторы под: Python (BeautifulSoup), Node.js (http-proxy-middleware, Cheerio), Lua (nginx, OpenResty), Golang (httputil.ReverseProxy, goquery).
- YAML для конфиг файлов. Отслеживание изменений конфиг файлов: Python (watchdog), Node.js (chokidar).
- Возможно даже клауд решения - Cloudflare Workers.