Необходимо было реализовать парсинг объявлений по заданным запросам (ежесуточно), и представить собранные объявления в виде графика, сгруппированные по типам.
Проект предназначается для получения аналитической информации о тенденциях на вторичном рынке покупки и продаж товаров. Проект был реализован на фреймворке Yii2, с использованием технологий PHP7, DAO, MySQL, LAMP.
В первую очередь был реализован парсер объявлений. Для разбора HTML был использован XPath. Для приведения Html к стандарту использован Tidy. Кроме этого парсер собирает страницы через систему цепочек прокси - Tor, который был настроен отдельно на сервере и через который производятся запросы. Сами запросы формируются через Curl.
Во вторую очередь был реализован график для отображения собранной и систематизированной информации. График строится с использованием JS библиотеки highcharts. Пример приложен в иллюстрациях к проекту.
Интерфейс проекта реализован с помощью AdminLTE (основан на Bootstrap).
