Написать скрипт и собрать метаданные индикаторов с веб-сайта
Цена договорная
Задача
Используя любые пригодные для выполнения задачи автоматизированные средства API, написанные python-скрипты с библиотеками для скрейпинга-краулинга данных (Selenium, Scrapy, BeautifulSoup , Requests-HTML, PyQuery, Lxml и др.), собрать метаданные о всех индикаторах (показателях), опубликованных на сайте источника в соответствующих разделах.
Сайт: http://dataportal.belstat.gov.by/
Из разделов «Демографическая и социальная политика», «Многоотраслевая статистика», «Экономическая статистика», «Статистика внешней торговли» собрать метаданные индикаторов — статистических показателей.
См. скриншот 1: перечень индикаторов в разделе "Демографическая и социальная политика"
См. скриншот 2: метаданные индикатора Число населенных пунктов на начало периода
Поля метаданных
Необходимо собрать следующие метаданные индикаторов:
Образ результата
Таблица с перечнем индикаторов и их метаданными. Формат CSV/XLSX.
Используя любые пригодные для выполнения задачи автоматизированные средства API, написанные python-скрипты с библиотеками для скрейпинга-краулинга данных (Selenium, Scrapy, BeautifulSoup , Requests-HTML, PyQuery, Lxml и др.), собрать метаданные о всех индикаторах (показателях), опубликованных на сайте источника в соответствующих разделах.
Сайт: http://dataportal.belstat.gov.by/
Из разделов «Демографическая и социальная политика», «Многоотраслевая статистика», «Экономическая статистика», «Статистика внешней торговли» собрать метаданные индикаторов — статистических показателей.
См. скриншот 1: перечень индикаторов в разделе "Демографическая и социальная политика"
См. скриншот 2: метаданные индикатора Число населенных пунктов на начало периода
Поля метаданных
Необходимо собрать следующие метаданные индикаторов:
- identifier Уникальный код индикатора в источнике данных
- title Наименование показателя
- description Описание показателя
- topic Тема показателя внутри источника данных
- created Максимальная глубина охвата времени (самый ранний год сведений по индикатору)
- updated Дата последнего обновления индикатора
- valid Гранулярность (периодичность) показателя по времени (год, квартал, месяц, неделя, день)
- creator Организация владелец / ответственный за сбор и публикацию показателя
- source Постоянная гиперссылка на индикатор на сайте (зеленая кнопка Экспорт)
- method Ссылка на метод расчета/ методику, если есть. Например, в этом источнике про методику сказано в пункте «Комментарии»: http://dataportal.belstat.gov.by/Indicators/Search?code=1063066
- publisher Ответственное лицо
- mbox Контактный email публикатора
- dimensions
Дополнительные пространства для анализа (dimensions) показателя.
Например, категории товаров или единицы валют и тд. В зависимости от
источника данных и наличия подобных сведений. В данном случае -- пункт Признаки (разрезы) - status Статус индикатора (действующий, архивный, иной)
Образ результата
Таблица с перечнем индикаторов и их метаданными. Формат CSV/XLSX.
Отзывы
Рекомендую Александра как специалиста по сбору данных (скрейпинг, парсинг) с сайтов. Сняла одну звезду с пунктуальности, так как в процессе возникали некоторые заминки. Но задача решена, Александр как исполнитель предупреждал о проблемах и не исчезал, прямая и понятная коммуникация сохранялась на протяжении всего процесса. Это иногда важнее скорости и хард навыков :)
1 год
назад
Очень адекватный, отзывчивый и понимающий заказчик, было приятно работать.
Всегда на связи: если возникали вопросы, разбирались вместе.
Очень конкретное и точное ТЗ, по которому не возникло ни единого вопроса.
Приятное, простое общение.
Ксения с пониманием вошла в положение при возникновении неприятностей с моей стороны и без лишних вопросов подвинула "дедлайн".
От совместной работы остались исключительно положительные эмоции.
Всегда на связи: если возникали вопросы, разбирались вместе.
Очень конкретное и точное ТЗ, по которому не возникло ни единого вопроса.
Приятное, простое общение.
Ксения с пониманием вошла в положение при возникновении неприятностей с моей стороны и без лишних вопросов подвинула "дедлайн".
От совместной работы остались исключительно положительные эмоции.
1 год
назад
В заказе есть исполнитель
При переводе заказа из архивного в актуальный, текущий исполнитель будет снят с задачи.
Выберите тип сделки
С безопасной сделкой вы всегда сможете вернуть средства, если что-то пойдет не так. С простой сделкой вы самостоятельно договариваетесь с исполнителем об оплате и берете на себя решение конфликтов.