Мы с важной новостью: с 28 февраля 2025 года сервис Хабр Фриланс прекратит свою работу.

Купить услуги можно до 28 февраля 2025, но пополнить баланс уже нельзя. Если на вашем счете остались средства, вы можете потратить их на небольшие услуги — служба поддержки готова поделиться бонусами, на случай, если средств немного не хватает.
R50 e78bf4ed426198de090ed3bd92566ce2
Full-stack разработчик

Создание парсера для Вконтакте

Добавлено 19 ноя 2020 в 21:58
Проект создавался на Laravel версия 8
Регистрация на сайте через : Auth

Верстка ,дизайн:
сделал один общий шаблон layouts
верстка дизайна, боковая панель, хедер, футер.
Использовал технология:
boostrap, css, html, js, jquery

Архитектура проекта:
Использовал модульную структуру: laravel-module 8:
https://github.com/nWidart/laravel-modules
через команду artisan создавал для каждого приложения отдельный модуль: контроллер, views, model

Разработка приложения:
используем api Вконтакте.
Создаем основной класс с методами
Создаем модуль приложения
верстка дизайна
отправляем запросы через ajax:
Внизу будут скриншоты:
Поиск целевой аудитории -- вводим необходимые данные для парсинга по сообществам
При нажатии кнопки отправляем post запрос с параметрами

Далее оптимизация запросов: используем метод multi curl для отправки параллельных запросов, таким образом время выполнения запроса увеличивается в 6 раз. Если отправлять сразу пачками по 6.
Подробности не буду описывать.
Далее получаем обьект с данными.
Проводим парсинг данных соответственно по тз.
Фильтрации данных методом исключения.
Выводим готовый результат.
Добавил кнопки выгрузки в отчет данные:
- участники в сообществе
- недавно вступившие участники сообщества
- вышедшие участники сообщетсва
отчет формировал черзе xls: библиотека phpspredsheet

В данном проекте я описал один модуль.
Так как основная идея для остальных остается такой же.
Создаем отдельный модуль
Используем методы апи
Делаем по тз
Получаем результат.

Если требуются подробности реализаций технологий, могу в личке рассказать.
F45aface36 Ae35c03839 70c9ae47fc F9cfa2eab4