Техническое задание по написанию парсера Twitter




Общие требования к исходному коду


Код должен быть написан на языке программирования JavaScript с использованием фреймфорка Node.js v19.*.* или на других языках, указанных в списке. Для выполнения поставленной задачи допускается использование сторонних библиотек c открытым исходным кодом.




Требования к функционалу


Основная функция кода — парсинг твиттер акаунтов, список которых определён ниже. Парсер должен получать из твиттер аккаунтов содержимое «твитов», без использования API.


Одно из главных требований — высокая скорость получения данных. При пропускной способности канала связи в 1Гбит время получения данных не должно превышать 1 секунды с момента появления в источнике.


Помимо парсера, в коде должна быть реализована проверка содержимого текста для фильтрации по заданным ключевым словам, а также функционал для обхода блокировок с помощью прокси, подмены User-Agent и других известных способов.