R50 e78bf4ed426198de090ed3bd92566ce2
Full-stack разработчик

Создание парсера для Вконтакте

Добавлено 19 ноя 2020 в 21:58
Проект создавался на Laravel версия 8
Регистрация на сайте через : Auth

Верстка ,дизайн:
сделал один общий шаблон layouts
верстка дизайна, боковая панель, хедер, футер.
Использовал технология:
boostrap, css, html, js, jquery

Архитектура проекта:
Использовал модульную структуру: laravel-module 8:
https://github.com/nWidart/laravel-modules
через команду artisan создавал для каждого приложения отдельный модуль: контроллер, views, model

Разработка приложения:
используем api Вконтакте.
Создаем основной класс с методами
Создаем модуль приложения
верстка дизайна
отправляем запросы через ajax:
Внизу будут скриншоты:
Поиск целевой аудитории -- вводим необходимые данные для парсинга по сообществам
При нажатии кнопки отправляем post запрос с параметрами

Далее оптимизация запросов: используем метод multi curl для отправки параллельных запросов, таким образом время выполнения запроса увеличивается в 6 раз. Если отправлять сразу пачками по 6.
Подробности не буду описывать.
Далее получаем обьект с данными.
Проводим парсинг данных соответственно по тз.
Фильтрации данных методом исключения.
Выводим готовый результат.
Добавил кнопки выгрузки в отчет данные:
- участники в сообществе
- недавно вступившие участники сообщества
- вышедшие участники сообщетсва
отчет формировал черзе xls: библиотека phpspredsheet

В данном проекте я описал один модуль.
Так как основная идея для остальных остается такой же.
Создаем отдельный модуль
Используем методы апи
Делаем по тз
Получаем результат.

Если требуются подробности реализаций технологий, могу в личке рассказать.
F45aface36 Ae35c03839 70c9ae47fc F9cfa2eab4