Параллелизация процессов
Цена договорная
Есть файл содержащий очень длинный список доменов (domain).
https://storage.googleapis.com/for-ula-images/doma...
Нужно пройти по списку и скачать фавиконы (favicon) в максимальном разрешении. Сохранить картинки в папку и потом перекинуть в корзину (google bucket). Часть ссылок битые, приходится ждать тайм аут. Это очень медленно. Надо распараллелить процесс при помощи Apache Beam.
https://colab.research.google.com/github/apache/beam/blob/master/examples/notebooks/get-started/try-apache-beam-py.ipynb
Ожидаем увидеть хорошо документированный, чистый код на коллабе (google collaboratory).
Для выполнения задачи необходим GCP account.
https://storage.googleapis.com/for-ula-images/doma...
Нужно пройти по списку и скачать фавиконы (favicon) в максимальном разрешении. Сохранить картинки в папку и потом перекинуть в корзину (google bucket). Часть ссылок битые, приходится ждать тайм аут. Это очень медленно. Надо распараллелить процесс при помощи Apache Beam.
https://colab.research.google.com/github/apache/beam/blob/master/examples/notebooks/get-started/try-apache-beam-py.ipynb
Ожидаем увидеть хорошо документированный, чистый код на коллабе (google collaboratory).
Для выполнения задачи необходим GCP account.
Отзывы
В заказе есть исполнитель
При переводе заказа из архивного в актуальный, текущий исполнитель будет снят с задачи.
Выберите тип сделки
С безопасной сделкой вы всегда сможете вернуть средства, если что-то пойдет не так. С простой сделкой вы самостоятельно договариваетесь с исполнителем об оплате и берете на себя решение конфликтов.
Рекомендую.