Доработка парсера яндекс.новостей (node + chromium)

Цена договорная
05 октября 2021, 14:10 • 3 отклика • 36 просмотров
Имеется парсер собирающий со страниц яндекс.новостей инфу по определенному ключу ( например https://newssearch.yandex.ru/news/search?text=%D0%B6%D0%B8%D1%80%D0%B8%D0%BD%D0%BE%D0%B2%D1%81%D0%BA%D0%B8%D0%B9+ )

Собирает в CSV: Название издания, ссылка, время, заголовок, снипет с упоминанием ключа.



Имеющийся парсер исправно работал, пока яндекс не поменял версткуи схему пагинации

Обход капчи встроен



Запрос к парсеру, например

node index.js --depth 10 --search жириновский --datestart 01.01.2021 --dateend 02.01.2021

-- depth здесь сколько страниц я. нвостей проходить ( тогда пагинация была 1 2 3 , теперь подгрузка по кнопке "больше результатов"

Ссылка на парсер https://disk.yandex.ru/d/bSU7lmybYVsp6g