Нужно настроить ipfirewall, чтобы нагрузка по парсингу не вешала сайт

Цена договорная
27 мая 2020, 17:01 • 10 откликов • 36 просмотров
у нас есть выделенный сервак (нормальный по параметрам)
раз в сутки в 17-35 - какая личность - парсит как мы думаем сайт, загрузка всех 6 процессоров на пределе

Что делали. чтобы локализовать проблему:
1. отключаем кроны - нагрузка весит
2. отключаем nginx - загрузка в 0
---
закрыли ботам доступ через nginx - нагрузка подспала

запускаем iftop - он не показывает почему-то ip подключение - что парсят с одного или 5 ip большой объем страниц

я.метрика ничего не показывает, логи показывают высокую загрузку, что каждую секунду - запрашивают по 20-30 стр.
===
выявить злоумышленников - не получается, все перепробовали
zabbix. показывает предел загрузки и сайт становится недоступным

Задача:
- поставить может софт какой
или защититься от Парсинга
===
что можете предложить, нужен человек с опытом, тк. 2 сис.админа наших не справились



Файлы
Отзывы
R50 80170f206e5da8192b6d23ffd98ab82d
Заказчик
Проблему по серверу нашел. Спасибо за это! По дороге оптимизировали скорость работы и пару структурных решений.
4 года назад
Avatar r50 a6ce93fe35b158fd29ba0e8681c918c22117160e9586a56eee4ffbc20df9bda1
Фрилансер
Павел, очень грамотный специалист. Всегда готов помочь и предоставить всю необходимую информацию для решения задачи. Надеюсь на дальнейшее сотрудничество. Спасибо.
4 года назад