Задача: Нам нужна одна большая таблица (база), в которую мы потом сами можем добавлять новые базы и из нее доставать с помощью тегов и фильтров нужные мини-базы под свои проекты.

На данный момент у нас есть базы на более чем 1 000 000 компаний — мы хотим объединить их в одну

Например, нам для проекта нужна будет база организаций по Москве которая занимается производством. Мы отфильтруем (по фильтрам или тегам) из большой общей таблицы по городу и отрасли и выгрузим/скопируем себе.

Структура основной таблицы данных организации: «Company name»,
«Website»,
«Email»,
«Регион», Поиск по этому полю
«ИНН», Использовать для идентификации при обновлении данных
«ОКВЭД», численный код вида деятельности
«Основной вид деятельности», Поиск по этому полю через «ОКВЭД» - набор комбинации через дерево
«Описание компании», Несколько строк
«Выручка», Число - поиск по этому полю “от” - “до”
«Статус»,
«ФИО руководителя»,

Пользователи системы по ролям и возможностям: Разное написание названия региона в исходных данных

Вариант решения: при импорте данных сначала данные записываются во временную таблицу как есть.
Потом происходит проверка

• корректность названий региона, ручная корректировка не валидных названий региона - подсвечиваем не опознанные данные, приглашаем Оператора ручками произвести замену из выпадающего списка. Список регионов может редактировать только администратор сервера - напрямую внеся изменения в БД. (Бюджет предельно ограничен)
• “ОКВЭД” из импортируемого файла - должен быть во внутреннем словаре. Дерево “ОКВЭД” может редактировать только администратор сервера - напрямую внеся изменения в БД. (Бюджет предельно ограничен)
• на дубликаты по ИНН

После проверки и устранения проблем перенос в основную БД
Названия столбцов
Обязательные столбцы:
“ОКВЭД”,
«Основной вид деятельности»,
ИНН,
«Выручка»
Очередность столбцов в импортируемых данных не имеет значения. ИНН - это уникальный идентификатор организации, необходим для обновления существующих записей.

Вывод отфильтрованных данных Для вывода необходимых данных используются фильтры
- “Регион” - выбор из списка
- “ОКВЭД” дерево ( может редактировать только администратор сервера - напрямую внеся изменения в БД. (Бюджет предельно ограничен))
- «Выручка», Число - поиск по этому полю “от” - “до”
Можно задать любой столбец, по которому происходит сортировка выдачи.
Выбираем по одному значению в каждом списке, клацаем “Получить” - система выдает записи организаций соответствующие заданным условиям, результат можно скачать в файле - формат CSV, в кодировке Windows - Excel.