Сделать скрипт получения данных о людях с Википедии

3 000 руб. за проект
27 июня 2021, 09:32 • 17 откликов • 63 просмотра
Привет! Делаем исследовательский проект по анализу данных с Википедии.

Для сбора данных нужно сделать скрипт получения данных всех страниц людей с российской и английской википедии со следующими данными:
  • id
  • Ссылка на страницу в Википедии
  • Ссылка на фото
  • Пол
  • Фамилия
  • Имя
  • Отчество, если есть
  • Гражданство, какой страны
  • Дата рождения
  • Страна рождения
  • Регион, Область, Штат рождения
  • Город рождения
  • Дата смерти, если человек не умер, оставить поле пустым
  • Страна смерти
  • Регион / Область / Штат смерти
  • Город смерти
  • Род деятельности / профессия. Каждую профессию вынести в отдельный столбец и напротив человека, если относится к профессии ставить 1, если не относится, то 0.
  • Кол-во просмотров за каждый год с 2015 по 2020
  • Кол-во просмотров страниц человека за каждый месяц с 2020 года по июнь 2021
Пример файла с выгрузкой > https://docs.google.com/spreadsheets/d/1CwZAFeFtuq...

Данные нужно собирать из категории human (человек), идентификатор такой wd:Q5 wdt:P31. (https://query.wikidata.org/#SELECT%20%3Fperson%20WHERE%20%7B%20%3Fperson%20wdt%3AP31%20wd%3AQ5%20%7D%0Alimit%20100)


Результат:
  • Скрипт получения данных, с инструкцией развертывания и запуска.
  • По два файла форматов sql. и .xlsx с выгрузками с российской и английской википедии. В выгрузке людей отсортировать по кол-ву просмотров за 2020 год, от большего к меньшему . Всего страниц людей будет больше 9 млн (https://www.wikidata.org/w/index.php?search=haswbstatement%3A%22P31%3DQ5%22&title=Special:Search&profile=advanced&fulltext=1&ns0=1&ns120=1). Для .xlsx разбить файлы на несколько частей, чтобы открылись для анализа в Excel.
Оплата договорная, оплата проводится через безопасную сделку.
Отзывы
Avatar r50 a6ce93fe35b158fd29ba0e8681c918c22117160e9586a56eee4ffbc20df9bda1
Заказчик
Алексей, прекрасный исполнитель, всегда был на связи, рассказывал о каждом этапе работы. По ходу реализации выяснились ограничения стороннего сервиса, Алексей не пропал, а попробовал найти решение, несмотря на увеличение сроков реализации, и в итоге предложил варианты решения. Проект довёл до конца, в финале сделал подробную инструкцию. Очень приятно было работать, спасибо!
3 года назад
R50 eb9310e1adc5d428b3b764bf96de7c2a
Фрилансер
Заказчик полностью понимает что ему нужно, вникает в суть проекта, готов менять условия ТЗ по ходу выяснения новых обстоятельств. С удовольствием работал с этим человеком.
3 года назад