R50 11f65f9518e59d9111ecf79cbfad460b
.NET Fullstack Developer

Парсер контактов в ВК. Условный обход лимита в 1000 человек.

Добавлено 23 фев 2017 в 13:59
Написан консольный парсер на c# и vk.api для сбора максимального числа пользователей по заданным параметрам. Пример успешности сбора: 1.4 млн пользователей из 1.6 доступных в г. Минске по диапазону возраста 30+ лет.

Были разработаны и проверены следующие алгоритмы парсинга (с целью частичного обхода блокировки токенов):
1. Сборка с последовательным перебором токенов при блокировке (токен работает до блокировки);
2. Сборка с рандомным токеном из списка на каждый запрос;
3. Сборка с рандомной датой рождения (в пределах диапазона) и рандомным токеном из списка. Самый работоспособный способ.
4. Заготовка для работы с методом execute от vk.api для работы с рандомными токенами и прокси-серверами.

Имеется поддержка списка токенов и ipv6 прокси-серверов.
В каждом методе своя проверка токенов на блокировку и исключение забаненного токена из списка (+рестарт всего списка заново при возможном разбане токена, если бан был краткосрочный).

Также имеется куча настроек (перебор с учетом статуса, имени, пола пользователя и пр.)
D0f801f3b1