Нам нужно разработать модуль, который будет в реал-тайме сканировать логи nginx, и выявлять плохих ботов, сканирующих сайт. Например, те, что лазят с похожих блоков IP-адресов, и методично лазят на нетипичные/глубокие URL сайта. В случае сомнений - выдавать им recaptcha или блокировать.

Возможно использовать готовое решение. Но прогонять трафик через Cloudflare и подобные не хотелось бы.

Просьба рассказать о своем опыте в подобных задачах.