from Excel to SQL

Даты выполнения работы: 8 августа 2021 - 2 сентября 2021

GitHub Repository link - https://github.com/kondaaakov/fromExcel

Главная задача.
Перенести ~250 таблиц Microsoft Excel в SQL вид.

Описание задачи.
Нужно было перенести примерно 250 таблиц Excel в SQL вид. При этом таблицы все в разных состояниях, не упорядочены и не имеют конкретного единого стиля ведения. Был дан примерный список столбцов, которые заказчик хотел бы видеть в SQL формате и на него я ориентировался в вопросе упорядочивания таблиц.

Что было сделано:
- Упорядочивание всех таблиц в единый стиль, используя функционал Excel: объединение строк, функции условий и копирования записей.
- Объединение ограниченного пула разных таблиц после упорядочивания. То есть, заказчик за одну итерацию высылал 10-20 таблиц: я их упорядочивал, обрабатывал и, чтобы получить следующую порцию, нужно было отправить SQL файл нынешней порции. По итогу из 10-20 таблиц я имел одну большую таблицу.
- Так как я пользовался OpenServer, в интерфейсе PHPMyAdmin можно было закинуть таблицу в CSV формате. Одну большую Excel таблицу я переводил в CSV и закидывал в PhpMyAdmin.
- После этого я разработал небольшой сайт-обработчик базы данных, для работы со строками и данными. То есть обрабатывал уже конкретные детали данных: номера телефонов, имена владельцев квартир, наименования организаций, дополнительные комментарии и их перемещение в отдельные поля.
- После обработки массива данных из 10-20 таблиц, я объединял их, чтобы в конце предоставить заказчику цельный SQL скрипт с созданием таблицы и занесением в неё данных.

По итогу.
Вышло около ~75 тысяч строк за примерно 25 дней работы. За это время я:
1. Обработал 250 Excel таблиц;
2. Объединял пул таблиц в одну;
3. Переводил в SQL формат;
4. Через сайт обрабатывал скриптами циклов строки и отдельные ячейки;
5. Получал приведённую к единому виду и формату таблицу с едиными данными.