Скачивание наборов данных с сайта data.gov.ru
Для работы необходимо зарегистрироваться на data.gov.ru и получить Ключ к API (access_token).
Данный ключ необходимо либо напрямую прописать в переменную access_token,
либо объявить в переменной среды окружения data_gov_access_token.
Отбор\фильтрация наборов данных ведется по полю organization_name.
Ищется вхождение подстроки поиска, без учета регистра, в organization_name.
Строка посика передается в качестве аргумента при вызове скрипта.
python3 data_gov_ru.py --s 'Москв' # Отбираем данные по Москве
python3 data_gov_ru.py # сформирует файл organization.json
python3 data_gov_ru.py --t data # сформирует файл datasets.json
Справка по использованию скрипта
usage: data_gov_ru.py [-h] [--s S] [--t {data,org}] [--console {yes,no}]
Справка по аргументам!
optional arguments:
-h, --help show this help message and exit
--s S Строка поиска
--t {data,org} Алгоритм поиска, по наборам данных "data", по
организациям "org". По умолчанию "org"
--console {yes,no} Вывод лога в консоль, по умолчанию "yes"
Результатом работы скрипта являются:
- файл organizations.json (содержит список организаций) или файл datasets.json (содержит список наборов данных)
- папки с наборами данных, названия папок соответствуют названиям организаций если наименование файла с набором имеет окончание .hz ,значит не получилось нормально распарсить этот файл и он был сохранен "как есть" и нуждается в дополнительной обработке.