ИХиАС ЛР-3 2025

Информационные хранилища

Лабораторная работа №3.

«Технология построения аналитических отчетов»

Общее задание

Цель работы

Овладеть навыками построения отчетов различного формата при помощи языка Python и библиотеки Pandas.

Задание

Средствами Python и библиотеки Pandas подключить к проекту данные, образующие схему "Звезда", построить на основе них отчеты табличного и графического вида и экспортировать результаты в виде документов.

Общий порядок выполнения работы:

Создать проект и подключить необходимые библиотеки (NumPy, Pandas, MatPlotLib).
Добавить данные в проект согласно варианту.
Создать словари данных.
Подготовить списочный отчет показателей по варианту, который выводит итоговое значение показателя (показатели по вариантам, используя отчетность H, но с нарастающим итогом) по годам для каждой дороги с применением словарей. Значение нарастающего итога вывести в форматированном виде с использованием символа валюты ₽.
Подготовить отчет со статистиками по показателю (показатели по вариантам, используя отчетность H) по годам по дорогам с применением словарей.
Подготовить сводный отчет, который выводит итоговое значения показателя (используя отчетность H, с нарастающим итогом) по дорогам по годам для каждого показателя (показатели по вариантам) с применением словарей. Значение нарастающего итога вывести в форматированном виде с использованием символа валюты ₽ или обозначения "ед."
Подготовить графический отчет в виде столбчатой диаграммы (Bar Chart), который будет выводить значение показателя (показатели по вариантам, используя отчетность P, ненарастающий итог) по дорогам за весь 2003 год с применением словарей.
Экспортировать полученные результаты пунктов 4-7 в виде листов единого файла Excel.

Задание по вариантам

Исходные данные

Вариант 1

Исходные данные:

base.avro
dor.sas7bdat
operiod.csv
vars_db.mdb / var_id.xlsx

Примечание: в файлах var_id.xlsx (попроще для импорта) и vars_db.mdb (посложнее для импорта) данные одинаковы .

Отчет 4. Показатели:

"Поездо-километры в грузовом движении" VAR_ID='13650'

Отчет 5. Показатель тот же.

Отчет 6. Показатели:

"Грузонапряженность пути, млн. т-км / прив. км" VAR_ID='100900'
"Пассажиро-напряженность пути, млн. т-км / прив. Км" VAR_ID='100901'

Отчет 7. Показатели:

"Среднесуточный пробег локомотива в грузовом движении" VAR_ID='12040'
"Среднесуточный пробег локомотива в пассажирском движении - всего" VAR_ID='12130'

Вариант 2

Исходные данные:

base.avro
dor_name.xml
operiod.txt
var.sas7bdat

Отчет 4. Показатели:

"Себестоимость - всего" VAR_ID='11370'

Отчет 5. Показатель тот же.

Отчет 6. Показатели:

"Себестоимость - всего" VAR_ID='11370'
"Себестоимость грузовых перевозок" VAR_ID='11400'
"Себестоимость пассажирских перевозок - всего" VAR_ID='11410'

Отчет 7. Показатели:

"рентабельность грузовых перевозок" VAR_ID='240021'
"рентабельность пассажирских перевозок" VAR_ID='240022'

Вариант 3

Исходные данные:

base.avro
dor
operiod.sas7bdat
dim_var.json

Отчет 4. Показатели:

"Себестоимость грузовых перевозок" VAR_ID='11400'

Отчет 5. Показатель тот же.

Отчет 6. Показатели:

"Эксплуатационные расходы - всего" VAR_ID='1290'
"Среднемесячная заработная плата" VAR_ID='100000'

Отчет 7. Показатели:

"Среднесуточный пробег грузового вагона" VAR_ID='12910'
"Коэффициент отношения порожнего пробега к общему" VAR_ID='12810'

Вариант 4

Исходные данные:

base.avro
dor_name.csv
operiod.txt
var.sas7bdat

Отчет 4. Показатели:

"Себестоимость пассажирских перевозок - всего" VAR_ID='11410'

Отчет 5. Показатель тот же.

Отчет 6. Показатели:

"Отправлено грузов - всего" VAR_ID='13740'
"Отправлено пассажиров - всего" VAR_ID='13760'

Отчет 7. Показатели:

"Населенность пассажирского вагона - всего" VAR_ID='13060'
"Населенность пассажирского вагона в дальнем следовании" VAR_ID='13070'
"Населенность пассажирского вагона в пригородном движении" VAR_ID='13090'

Вариант 5

Исходные данные:

base.avro
dor.txt
operiod.sas7bdat
var_id.csv

Отчет 4. Показатели:

"Затраты на текущее содержание пути" VAR_ID='120'

Отчет 5. Показатель тот же.

Отчет 6. Показатели:

"Неэксплуатируемый парк % неисправных к парку в распоряжении дороги" VAR_ID='100010'
"Неэксплуатируемый парк % неисправных к парку в распоряжении дороги в т.ч. электровозная тяга" VAR_ID='100011'
"Неэксплуатируемый парк % неисправных к парку в распоряжении дороги в т.ч. тепловозная тяга" VAR_ID='100012'

Отчет 7. Показатели:

"Отправлено пассажиров в дальнем следовании" VAR_ID='13770'
"Отправлено пассажиров в местном сообщении" VAR_ID='13780'

Примечание: данные по всей сети дорог в график не включать.

Вариант 6

Исходные данные:

base.parquet
dict_dor.xml
dict_operiod.avro
dict_vars.csv

Отчет 4. Показатели:

"Затраты на снего-, песко- и водоборьбу" VAR_ID='110'

Отчет 5. Показатель тот же.

Отчет 6. Показатели:

"Удельный расход электроэнергии на тягу поездов - всего" VAR_ID='4490'
"Удельный расход электроэнергии на тягу поездов в грузовом движении" VAR_ID='4500'
"Удельный расход электроэнергии на тягу поездов в пассажирском движении" VAR_ID='4510'

Отчет 7. Показатели:

"Локомотивы в голове поездов в пассажирском движении в дальнем сообщении - всего" VAR_ID='20031'
"Локомотивы в голове поездов в пассажирском движении в пригородном сообщении - всего" VAR_ID='20032'

Вариант 7

Исходные данные:

base.parquet
ref_dor.sas7bdat
ref_operiod.json
ref_vars.orc

Отчет 4. Показатели:

"Затраты на техническое обслуживание и эксплуатацию устройств хозяйства сигнализации, связи и вычислительной техники" VAR_ID='1270'

Отчет 5. Показатель тот же.

Отчет 6. Показатели:

"Локомотиво-километры в одиночном следовании в пассажирском движении - всего" VAR_ID='21350'
"Локомотиво-километры в одиночном следовании в пассажирском движении - электровозы" VAR_ID='21360'
"Локомотиво-километры в одиночном следовании в пассажирском движении - тепловозы" VAR_ID='21370'

Отчет 7. Показатели:

"Расход электроэнергии по ТХО-2 - электровозы (всего)" VAR_ID='21590'
"Расход электроэнергии по ТХО-2 - МВС (всего)" VAR_ID='21600'

Примечание: данные по всей сети дорог в график не включать.

Вариант 8

Исходные данные:

base.parquet
dor_names.orc
operiod.xml
vars_db.sas7bdat

Отчет 4. Показатели:

"Эксплуатационные расходы отделения и общедорожные - всего" VAR_ID='1330'

Отчет 5. Показатель тот же.

Отчет 6. Показатели:

"Эксплуатируемый парк локомотивов в пассажирском движении (тепловозы)" VAR_ID='17240'
"Эксплуатируемый парк локомотивов в пассажирском движении (электровозы)" VAR_ID='17250'

Отчет 7. Показатели:

"Вагоно-километры платформ" VAR_ID='17780'
"Вагоно-километры цистерн" VAR_ID='17810'

Вариант 9

Исходные данные:

base.parquet
dim_dor.avro
dim_operiod.csv
dim_vars.xml

Отчет 4. Показатели:

"Эксплуатационные расходы хозяйства пути (материалы)" VAR_ID='4110'

Отчет 5. Показатель тот же.

Отчет 6. Показатели:

"Рабочий парк крытых вагонов" VAR_ID='17050'
"Рабочий парк полувагонов" VAR_ID='17070'
"Рабочий парк рефрижераторных вагонов" VAR_ID='17090'

Отчет 7. Показатели:

"Неисправный парк (электровозная тяга)" VAR_ID='200047'
"Неисправный парк (тепловозная тяга)" VAR_ID='200048'

Вариант 10

Исходные данные:

base.parquet
dor.csv
operiod.orc
vars.data

Отчет 4. Показатели:

"Затраты на топливо - всего" VAR_ID='4140'

Отчет 5. Показатель тот же.

Отчет 6. Показатели:

"Динамическая нагрузка груженого вагона" VAR_ID='12790'
"Статическая нагрузка" VAR_ID='12940'

Отчет 7. Показатели:

"Пробег грузовых вагонов всего (электротяга)" VAR_ID='36290'
"Пробег грузовых вагонов всего (теплотяга)" VAR_ID='36300'

Методические указания

1. Изучение форматов

Данный шаг предполагает знакомство обучаемого с принципами организации данных в предоставленных вариантом форматах входных файлов. Некоторые форматы организации данных были изучены в предыдущих лабораторных работах, но в данной работе появились новые. Общий список форматов, включенных в данную лабораторную работу следующий:

2. Импорт данных

Для импорта каждого формата представления данных - существует свой собственный механизм. Для большинства представленных файлов будет достаточно функций библиотеки Pandas, однако, есть и исключения.

Yaml

Данные с фиксированной шириной колонок

Функция pandas.read_fwf

3. Создание словарей данных

Создать структуры словарей на основе таблиц измерений: наименования дорог, наименования показателей, наименования видов отчетности.

DataFrame.to_dict()

4. Подготовка списочного отчета

Создать списочный отчет, который выводит итоговое значение показателя (показатели по вариантам, используя отчетность H, с нарастающим итогом) по годам для каждой дороги с применением словарей. Значение нарастающего итога вывести в форматированном виде с использованием символа валюты ₽.

Pandas: DataFrame doc (ENG)

Форматирование значений (ENG)

DataFrame.cumsum() (ENG)

Получение года из значения даты (ENG)

Замена значений на основе словаря (ENG)

DataFrame.rename()

5. Подготовка статистического отчета

Создать отчет (Summary Statistics), который выводит статистику показателя (показатели по вариантам, используя отчетность H, с нарастающим итогом) по годам по дорогам с применением словарей.

6. Подготовка сводного отчета

Создать сводный отчет (Summary Table), который выводит итоговое значения показателя (используя отчетность H, с нарастающим итогом) по дорогам по годам для каждого показателя (показатели по вариантам) с применением словарей. Значение нарастающего итога вывести в форматированном виде с использованием символа валюты ₽ или обозначения "ед."

Сводная таблица в Pandas

7. Подготовка графического отчета

Создать графический отчет в виде столбчатой диаграммы (Bar Chart), который будет выводить значение показателя (показатели по вариантам, используя отчетность P, ненарастающий итог) за 2003 год по дорогам с применением словарей.

DataFrame.groupby() (ENG)

Обработка данных по группам в DF (ENG)

Create plots in Pandas (ENG)

Индивидуальная раскраска столбцов (ENG)

Описание способов визуализации данных