Масштабирование парсера Yandex Sphere
Цена договорная
Я ищу консультацию или кого-то, кто может помочь мне с этой проблемой. А именно, у меня есть парсер, который однопоточно загружает комментарии/посты из youtube api и других api(telegram, vk).
Я хотел бы расширить его возможности для загрузки миллионов постов в день в режиме реального времени. В качестве инфры я хочу использовать облако (Yandex Sphere). Я подозреваю, что вам понадобится ротация IP-адресов, прокси и т. д., чтобы обойти ограничения. Эти данные также нужно где-то хранить, так как потом они будут использоваться для обучения LLM. Итак: нужен кто-то, кто уже разрабатывал такие многопоточные парсеры и:
- даст мне несколько часов консультации, где посоветует, что и как настроить
В любом случае, я бы попросил назвать цену и сроки (бюджет корпоративный и довольно большой, так что о деньгах не беспокойтесь). И я прошу серьезных предложений (я потерял более 2 недель на людей, которые предложили мне решения из чата gpt или 1 страницы google).
Я хотел бы расширить его возможности для загрузки миллионов постов в день в режиме реального времени. В качестве инфры я хочу использовать облако (Yandex Sphere). Я подозреваю, что вам понадобится ротация IP-адресов, прокси и т. д., чтобы обойти ограничения. Эти данные также нужно где-то хранить, так как потом они будут использоваться для обучения LLM. Итак: нужен кто-то, кто уже разрабатывал такие многопоточные парсеры и:
- даст мне несколько часов консультации, где посоветует, что и как настроить
В любом случае, я бы попросил назвать цену и сроки (бюджет корпоративный и довольно большой, так что о деньгах не беспокойтесь). И я прошу серьезных предложений (я потерял более 2 недель на людей, которые предложили мне решения из чата gpt или 1 страницы google).
В заказе есть исполнитель
При переводе заказа из архивного в актуальный, текущий исполнитель будет снят с задачи.
Выберите тип сделки
С безопасной сделкой вы всегда сможете вернуть средства, если что-то пойдет не так. С простой сделкой вы самостоятельно договариваетесь с исполнителем об оплате и берете на себя решение конфликтов.