Архивация данных

Цена договорная
23 июля 2021, 13:13 • 1 отклик • 100 просмотров
Привет!

Если вкратце о нас, то мы разрабатываем проект amoCRM уже более 10 лет. Продаем его в России и на Западе. Основные промосайты, где можно посмотреть интерфейсы и информацию по проекту: amocrm.ru и amocrm.com

Все по модели SaaS конечно, никаких коробок. Десятки тысяч компаний пользуются нашей системой через web-браузеры и нативные мобильные и десктоп приложения. Несколько тысяч партнеров, которые занимаются внедрением amoCRM и используют API для интеграционных решений.

Весь проект представляет из себя ядро продукта с API и порядка 16 сервисов его окружающих (почта, мессенджер, поиск и т.д.). Основа нашего стека PHP и MySQL. Если брать все сервисы, то набор языков и софта шире: Go и Python, Cassandra, memcached, Sphinx, Beanstalk и Gearman и т.д. Основная ось на серверах - Linux Ubuntu Server и Debian

Физические сервера в двух ДЦ в России и одном в Америке, с репликацией данных попарно. Имеем более 200 шардированных БД MySQL, в каждой базе может быть тысячи таблиц, около 5 тысяч запросов к базе в секунду

Если получится выполнить задание, с удовольствием будем работать и дальше.

К заданию, со временем у нас накопились данные, которыми уже не пользуются, но мы всегда должны хранить их. Сейчас они хранятся в mysql 8 на быстрых ssd дисках вместе с данными остальных клиентов и могут занимать довольно много места. Идея: автоматизировано выносить (перенос и очистка) данные на более медленные sata диски и хранить там, до тех пор - пока данные не используются, с возможностью последующим восстановлением данных (перенос обратно в базу данных на ssd диск ко всем остальным аккаунтам). При этом при миграции данных, база должна оставаться полностью доступным, без блокировки таблиц.

Язык написания скрипта не важен, важно отличное знание особенностей mysql
Перед реализацией, согласовываем как это будет работать и обсуждаем как будет проходить тестирование.


P.S. При отклике - напишите какие сложности вы видите в этой задаче. Если что, можете писать мне tg: @soulrise