Сделать скрипт получения данных о людях с Википедии
3 000 руб. за проект
Привет! Делаем исследовательский проект по анализу данных с Википедии.
Для сбора данных нужно сделать скрипт получения данных всех страниц людей с российской и английской википедии со следующими данными:
Данные нужно собирать из категории human (человек), идентификатор такой wd:Q5 wdt:P31. (https://query.wikidata.org/#SELECT%20%3Fperson%20WHERE%20%7B%20%3Fperson%20wdt%3AP31%20wd%3AQ5%20%7D%0Alimit%20100)
Результат:
Для сбора данных нужно сделать скрипт получения данных всех страниц людей с российской и английской википедии со следующими данными:
- id
- Ссылка на страницу в Википедии
- Ссылка на фото
- Пол
- Фамилия
- Имя
- Отчество, если есть
- Гражданство, какой страны
- Дата рождения
- Страна рождения
- Регион, Область, Штат рождения
- Город рождения
- Дата смерти, если человек не умер, оставить поле пустым
- Страна смерти
- Регион / Область / Штат смерти
- Город смерти
- Род деятельности / профессия. Каждую профессию вынести в отдельный столбец и напротив человека, если относится к профессии ставить 1, если не относится, то 0.
- Кол-во просмотров за каждый год с 2015 по 2020
- Кол-во просмотров страниц человека за каждый месяц с 2020 года по июнь 2021
Данные нужно собирать из категории human (человек), идентификатор такой wd:Q5 wdt:P31. (https://query.wikidata.org/#SELECT%20%3Fperson%20WHERE%20%7B%20%3Fperson%20wdt%3AP31%20wd%3AQ5%20%7D%0Alimit%20100)
Результат:
- Скрипт получения данных, с инструкцией развертывания и запуска.
- По два файла форматов sql. и .xlsx с выгрузками с российской и английской википедии. В выгрузке людей отсортировать по кол-ву просмотров за 2020 год, от большего к меньшему . Всего страниц людей будет больше 9 млн (https://www.wikidata.org/w/index.php?search=haswbstatement%3A%22P31%3DQ5%22&title=Special:Search&profile=advanced&fulltext=1&ns0=1&ns120=1). Для .xlsx разбить файлы на несколько частей, чтобы открылись для анализа в Excel.
Отзывы
Алексей, прекрасный исполнитель, всегда был на связи, рассказывал о каждом этапе работы. По ходу реализации выяснились ограничения стороннего сервиса, Алексей не пропал, а попробовал найти решение, несмотря на увеличение сроков реализации, и в итоге предложил варианты решения. Проект довёл до конца, в финале сделал подробную инструкцию. Очень приятно было работать, спасибо!
3 года
назад
В заказе есть исполнитель
При переводе заказа из архивного в актуальный, текущий исполнитель будет снят с задачи.
Выберите тип сделки
С безопасной сделкой вы всегда сможете вернуть средства, если что-то пойдет не так. С простой сделкой вы самостоятельно договариваетесь с исполнителем об оплате и берете на себя решение конфликтов.