Разработать модуль по парсингу

100 000 руб. за проект
05 июня 2024, 14:54 • 21 отклик • 191 просмотр
Нужно разработать модуль по парсингу больших данных и построить базу данных. Модуль должен по запросу собирать данные из социальных сетей (вконтакте, телеграм, ютуб, одноклассники).

Модуль должен анализировать и собирать информацию из 50 тысяч пабликов и 200 тысяч комментариев в много потоков (нужен опыт работы с многопоточностью).

Исходя из задачи нужно построить базу данных к которой сможет обращаться LLM для получения и анализа информации.

Тип бд не важен, язык программирования python