Написать скрипт и собрать метаданные индикаторов с веб-сайта

Цена договорная
15 августа 2023, 21:09 • 12 откликов • 50 просмотров
Задача

Используя любые пригодные для выполнения задачи автоматизированные средства API, написанные python-скрипты с библиотеками для скрейпинга-краулинга данных (Selenium, Scrapy, BeautifulSoup , Requests-HTML, PyQuery, Lxml и др.), собрать метаданные о всех индикаторах (показателях), опубликованных на сайте источника в соответствующих разделах.

Сайт: http://dataportal.belstat.gov.by/

Из разделов «Демографическая и социальная политика», «Многоотраслевая статистика», «Экономическая статистика», «Статистика внешней торговли» собрать метаданные индикаторов — статистических показателей.

См. скриншот 1: перечень индикаторов в разделе "Демографическая и социальная политика"

См. скриншот 2: метаданные индикатора Число населенных пунктов на начало периода

Поля метаданных

Необходимо собрать следующие метаданные индикаторов:
  • identifier Уникальный код индикатора в источнике данных
  • title Наименование показателя
  • description Описание показателя
  • topic Тема показателя внутри источника данных
  • created Максимальная глубина охвата времени (самый ранний год сведений по индикатору)
  • updated Дата последнего обновления индикатора
  • valid Гранулярность (периодичность) показателя по времени (год, квартал, месяц, неделя, день)
  • creator Организация владелец / ответственный за сбор и публикацию показателя
  • source Постоянная гиперссылка на индикатор на сайте (зеленая кнопка Экспорт)
  • method Ссылка на метод расчета/ методику, если есть. Например, в этом источнике про методику сказано в пункте «Комментарии»: http://dataportal.belstat.gov.by/Indicators/Search?code=1063066
  • publisher Ответственное лицо
  • mbox Контактный email публикатора
  • dimensions
    Дополнительные пространства для анализа (dimensions) показателя.
    Например, категории товаров или единицы валют и тд. В зависимости от
    источника данных и наличия подобных сведений. В данном случае -- пункт Признаки (разрезы)
  • status Статус индикатора (действующий, архивный, иной)

Образ результата
Таблица с перечнем индикаторов и их метаданными. Формат CSV/XLSX.
Файлы
Отзывы
R50 d6d4c2211370f021b53e1b11affa7fb5
Заказчик
Рекомендую Александра как специалиста по сбору данных (скрейпинг, парсинг) с сайтов. Сняла одну звезду с пунктуальности, так как в процессе возникали некоторые заминки. Но задача решена, Александр как исполнитель предупреждал о проблемах и не исчезал, прямая и понятная коммуникация сохранялась на протяжении всего процесса. Это иногда важнее скорости и хард навыков :)
1 год назад
R50 dd7271351222cd6fa9474bd85edc15fe
Фрилансер
Очень адекватный, отзывчивый и понимающий заказчик, было приятно работать.
Всегда на связи: если возникали вопросы, разбирались вместе.
Очень конкретное и точное ТЗ, по которому не возникло ни единого вопроса.
Приятное, простое общение.
Ксения с пониманием вошла в положение при возникновении неприятностей с моей стороны и без лишних вопросов подвинула "дедлайн".
От совместной работы остались исключительно положительные эмоции.
1 год назад