Требуется создать приложение на NodeJS, оно будет автоматически обновлять цены на оборудование каждый день в заданное время.
Сейчас на первом этапе необходимо реализовать загрузку цен с сайта owen.ru и rs24.ru
С сайтов поставщиков должны загружаться две цены: розничная и закупочная.
Закупочная цена для сайта owen.ru будет рассчитываться от розничной с учетом скидки.
Закупочная цена для сайта rs24.ru доступна только после авторизации.
В базе должна сохраняться история цен, в том случае, если цена не изменилась запись в базу новой цены не происходит, но записывается дата и время актуализации цены.
Скрипт необходимо сделать универсальным, так чтобы добавление новых позиций оборудования и обновление цен по ним происходило максимально просто и удобно. Предлагаю добавить в базу данных информацию о том каким образом будет происходить загрузка цены по каждой позиции. Например так:
Тип запроса: HTML, JSON
URL
Регулярное выражение поиска - для того, чтобы вытащить из полученного ответа на запрос цену
Регулярное выражение форматирования - это регулярное выражение необходимо для того, чтобы убрать пробелы, точки заменить запятыми и т.д. Возможно это будет универсальное регулярное выражение для всех поставщиков и не будет необходимости указывать его для каждой позиции.
В качестве СУБД предлагаю использовать SQLite, но готов рассмотреть альтернативы.