Парсинг новостей

1.Есть список сайтов производителей, как российских, так и зарубежных (около 150 ссылок, часть имеет RSS)

2.Есть список отраслевых СМИ, поиск новостей по ключевым словам: «Моторное масло» и «Смазочные материалы» и т.д.



Парсинг новостей осуществляется один раз в неделю!

Список полей:

·Источник

·Заголовок

·Текст

·Ссылка

·Дата публикации

Технологический стек имеющегося инструмента

Решение реализовано на базе фреймворка Streamlit v1.1.0 (https://streamlit.io/),
с дополнительной разработкой модулей на языке Python 3.x.

Для парсинга новостных лент применяются библиотеки feedparser, bs4[BeautifulSoup].

Для отрисовки сетки данных – библиотека streamlit-aggrid[st_aggrid].

База данных организована на основе библиотеки SQLite3.

Сценарии дальнейшего сотрудничества

1.Модернизирование уже имеющегося инструмента

2.Создание инструмента с нуля и передача кода в пользование

3.Аутсорсинговые услуги, еженедельный сбор данных