Добрый день!

У нас небольшая команда, состоящая из 4-х разработчиков и 1 дизайнера

Ранее мы справлялись с задачами по части DevOps своими силами, но поняли, что не можем обеспечивать должный уровень отказоустойчивости, безопасности и в целом это занимает довольно много времени

Мы хотели бы работать в инфраструктуре Yandex.Cloud на начальном этапе и использовать Managed Service решения от них. В дальнейшем, если сработаемся, то можно будет перейти на IaaS полностью. В качестве системы для управления проектами и репозиториями используем GitLab (опять же через Managed Service)

Сейчас у нас есть несколько проектов:

1. Web сервис на FastAPI и React для загрузки и валидации файлов на S3 (на финальной стадии разработки)

2. Телеграм бот на FastAPI (первая версия полностью готова)

3. Web сервис (ERP-система) для внутреннего учета на FastAPI и React (на начальном этапе разработки)

4. Используем Apache Airflow на VM для оркестрации ETL процессов у себя, активно пишем новые DAG

5. Небольшой сайт с SSR на FastAPI (в процессе разработки)

Далее, по этим проектам и глобально у нас есть несколько задач, написаны они в порядке приоритетов. Обращение к проектам будет в формате: проект №3 и т.д.:

1. Для проекта №1 нужно настроить:
- Настроить dev и prod окружения
- Настроить ci/cd
2. Глобально, для всех проектов и vm нам нужно настроить:
- Сбор статистики работы сервисов в Prometeus (в рамках Yandex Monitoring)
- Сбор логов по запросам внутри сервисов (между бэкендом и фронтендом, грубо говоря)
- Наладить процесс code review внутри GitLab
- Решить вопрос с хранением секретов проектов
- Сбор аудитных логов в Yandex Cloud (но там это вроде не сильно сложно)
3. Для проекта №4 у нас иногда возникает ситуация, при которой в некоторые DAG попадает много файлов для обработки. Поэтому появилась идея развернуть AirFlow через Kubernetes, чтобы масштабироваться в таких случаях. Также нужно решить вопрос с тем как нам параллельно разрабатывать разные DAS

От совместного сотрудничества мы ждем помимо исполнения поставленных задач так же предложения по оптимизации инфраструктуры. Также, если в задачах что-то не логично, то это тоже можно и нужно подсвечивать

Также, прилагаю схему как я видел инфраструктуру для проекта №3. По идее такая должна подойти, так как нагрузка не очень высокая

Далее, будут возникать новые задачи, но это пока на ближайшее время планы