Настроить парсеры на Python (Apache Kafka + ClickHouse)
30 000 руб. за проект
Есть несколько парсеров на Python.
3 самописных и 3 с rapidapi.com (по сути тоже готовые).
Нужно их доработать, а именно настроить запись в Apache Kafka, а из кафки разбор в ClickHouse.
Возможно, потребуются небольшие доработки по парсерам. Но в целом они простые - просто получаем гет запросами данные с веба и записываем куда нужно.
От исполнителя ожидаем:
1. Понимание и опыт работы с Apache Kafka и ClickHouse
2. Знания по настройке этих систем
3. Хорошие знания в Python
4. Свободное время для выполнения заказа
Подробное ТЗ по каждому парсеру пришлю исполнителю.
Потом нужно будет написать на FastApi API для работы с фронтом.
Если сработаемся и будет желание, отдам этот проект вам.
3 самописных и 3 с rapidapi.com (по сути тоже готовые).
Нужно их доработать, а именно настроить запись в Apache Kafka, а из кафки разбор в ClickHouse.
Возможно, потребуются небольшие доработки по парсерам. Но в целом они простые - просто получаем гет запросами данные с веба и записываем куда нужно.
От исполнителя ожидаем:
1. Понимание и опыт работы с Apache Kafka и ClickHouse
2. Знания по настройке этих систем
3. Хорошие знания в Python
4. Свободное время для выполнения заказа
Подробное ТЗ по каждому парсеру пришлю исполнителю.
Потом нужно будет написать на FastApi API для работы с фронтом.
Если сработаемся и будет желание, отдам этот проект вам.
В заказе есть исполнитель
При переводе заказа из архивного в актуальный, текущий исполнитель будет снят с задачи.
Выберите тип сделки
С безопасной сделкой вы всегда сможете вернуть средства, если что-то пойдет не так. С простой сделкой вы самостоятельно договариваетесь с исполнителем об оплате и берете на себя решение конфликтов.