Твиттер парсер / twitter scrapper

Цена договорная
24 октября 2024, 13:49 • 6 откликов • 59 просмотров
Мы ищем специалиста для разработки и создания сервиса, который может выполнять скрейпинг Twitter (X) и быть доступным через API-интерфейс. Сервис должен выполнять следующие функции:

Получение 10 последних твитов аккаунта.
- Возможность фильтрации по типу твита: твит, ретвит, цитата или все.
- Для данного твита — получение списка аккаунтов, которые ретвитнули или процитировали его.
- Возможность фильтрации по ретвитам, цитатам или всем действиям.
- *Получение всех аккаунтов, на которые подписан данный аккаунт.
- *Получение всех подписчиков аккаунта.
- Проверка, подписан ли аккаунт A на аккаунт B.
- Возвращение метаданных аккаунта (имя пользователя, ID пользователя, возраст аккаунта, статус верификации, ссылки на изображения и т.д.).
* Эти функции не должны возвращать ответ немедленно, но должны быть надежными. Для аккаунтов с большим количеством подписчиков результат не должен занимать больше одного часа. Как только набор результатов будет готов, сервис должен отправить уведомление/вебхук/HTTP-запрос.

Дополнительные требования:

- Сервис должен поддерживать аккаунты с количеством подписчиков до 1 миллиона.
- Должен быть достаточно надежным (99% успешных вызовов).
- Использование ротации между различными аккаунтами и прокси для повышения надежности и скорости. Мы можем предоставить Twitter-аккаунты, API для решения капчи и прокси при необходимости.
- Логирование аккаунтов или прокси, которые были ограничены.
- Вход в Twitter-аккаунт не должен требовать кода из электронной почты (можем использовать 2FA-код).


Технические требования:

- Сервис должен быть реализован как Docker-сервис, который можно легко развернуть в облачной инфраструктуре.
- RESTful сервис.
- Должен принимать учетные данные API-ключа.
- Предпочтительно написание на TypeScript (или Python).
- Комментарии в коде, если они есть, должны быть на английском языке.
- Ответы должны быть в формате JSON.
- За исключением особых указаний, использование платных сервисов/API не допускается.
- Архитектура и код должны быть чистыми и хорошо структурированными.
- Проект должен быть завершен в течение 1 недели.