Анализ больших данных - Сравнить две таблицы в базе MySQL

10 000 руб. за проект
16 сентября 2021, 14:38 • 9 откликов • 75 просмотров
  • Конечная цель – сформировать список товаров для закупки после сравнения базы продаж (base1) и базы предложения (base2). Более 100 тыс строк в каждой таблице

Есть база MySQL с двумя таблицами внутри
Base1 (продажи)
  • id
  • name
  • description
  • owner
  • price
  • phone
  • ad_id
  • url
Base2 (предложение) со следующими полями
  • id
  • Title
  • Condition
  • Sale dat
  • Price
  • Shipping
  • Item location
  • Seller
  • Brand
  • MNP
  • Model
  • Item_number
  • url
База обновляется ежедневно, работает на удаленном сервере
• base1 дополняется ежедневно
• base2 проверяется актуальность, удаляются неактивные товары, добавляются в базу новые за день

ЗАДАЧА
1. Сделать нечеткий текстовый поиск по аналогии с надстройкой «Fuzzy lookup» которая есть в Excel, сравнивая следующие поля
Из базы base1:
• Title
Из base2:
• name – первое поле сравнения
• description – второе поле сравнения (так как в поле name часто НЕ указывают маркировку товара)

Ищем соответствие производителя (в обоих базах прописываются на латинице) и артикула в буквенно – цифровом формате), например совпадение в обоих базах Fluke 1550c, Fanuc A16B-1000-0030
с коэффициентом подобия от 0,8 до 1,0

2. Вывести итоговую таблицу со следующими столбцами, в которых есть совпадения полей (см п.1) :
n. Title (base1)
o. Condition (base1)
p. Price (base1)
q. Shipping (base1)
r. url (base1)
s. name (base2)
t. description (base2)
u. price (base2)
v. url (base2)

3. Запускать скрипт сравнения баз ежедневно на моем выделенном сервере

4. Ежедневно отправить файл результатов в формате *.xlsx на email. Файл результатов желательно получать в начале рабочего дня к 10.00

Дополнительный функционал будем реализовывать и дорабатывать по ходу