Збереження даних у pandas

ETL та ELT у Python

Jake Roach

Data Engineer

Збереження даних в ETL-конвеєрі

Вивантаження даних у файл:

Забезпечує стабільний доступ споживачам до трансформованих даних
Виконується як фінальний крок ETL, а також між окремими кроками
Фіксує «знімок» даних

Експорт у CSV за допомогою pandas

Метод .to_csv()

import pandas as pd

# Data extraction and transformation
raw_data = pd.read_csv("raw_stock_data.csv")
stock_data = raw_data.loc[raw_data["open"] > 100, ["timestamps", "open"]]

# Load data to a .csv file
stock_data.to_csv("stock_data.csv")

.to_csv викликається для DataFrame
Записує DataFrame за шляхом "stock_data.csv"

Налаштування виводу CSV

stock_data.to_csv("./stock_data.csv", header=True)

Приймає True, False або список рядків

stock_data.to_csv("./stock_data.csv", index=True)

Приймає True або False
Визначає, чи записувати стовпець index у файл

stock_data.to_csv("./stock_data.csv", sep="|")

Приймає рядок-роздільник для стовпців у файлі
Символ | — поширений варіант

Є аналоги:

.to_parquet()
.to_json()
.to_sql()

¹ https://pandas.pydata.org/docs/reference/api/pandas.DataFrame.to_csv.html

Перевірка збереження даних

Чи правильно DataFrame збережено до CSV?

import pandas
import os  # Import the os module

# Extract, transform and load data
raw_data = pd.read_csv("raw_stock_data.csv")
stock_data = raw_data.loc[raw_data["open"] > 100, ["timestamps", "open"]]
stock_data.to_csv("stock_data.csv")

# Check that the path exists
file_exists = os.path.exists("stock_data.csv")
print(file_exists)

True

Давайте потренуємось!

ETL та ELT у Python