Нужно разработать модуль по парсингу больших данных и построить базу данных. Модуль должен по запросу собирать данные из социальных сетей (вконтакте, телеграм, ютуб, одноклассники).

Модуль должен анализировать и собирать информацию из 50 тысяч пабликов и 200 тысяч комментариев в много потоков (нужен опыт работы с многопоточностью).

Исходя из задачи нужно построить базу данных к которой сможет обращаться LLM для получения и анализа информации.

Тип бд не важен, язык программирования python