Menyimpan data dengan pandas

ETL dan ELT di Python

Jake Roach

Data Engineer

Menyimpan data dalam pipeline ETL

Memuat data ke berkas:

Memastikan pengguna data memiliki akses stabil ke data yang telah ditransformasi
Terjadi sebagai langkah akhir dalam proses ETL, serta di antara langkah-langkah terpisah
Menangkap "snapshot" data

Memuat data ke berkas CSV dengan pandas

Metode .to_csv()

import pandas as pd

# Ekstraksi dan transformasi data
raw_data = pd.read_csv("raw_stock_data.csv")
stock_data = raw_data.loc[raw_data["open"] > 100, ["timestamps", "open"]]

# Muat data ke berkas .csv
stock_data.to_csv("stock_data.csv")

.to_csv dipanggil pada DataFrame
Menulis DataFrame ke path "stock_data.csv"

Menyesuaikan keluaran berkas CSV

stock_data.to_csv("./stock_data.csv", header=True)

Menerima True, False, atau daftar nilai string

stock_data.to_csv("./stock_data.csv", index=True)

Menerima True atau False
Menentukan apakah kolom index ditulis ke berkas

stock_data.to_csv("./stock_data.csv", sep="|")

Menerima nilai string untuk memisahkan kolom dalam berkas
Karakter | adalah opsi umum

Memiliki padanan:

.to_parquet()
.to_json()
.to_sql()

¹ https://pandas.pydata.org/docs/reference/api/pandas.DataFrame.to_csv.html

Memastikan persistensi data

Apakah DataFrame tersimpan dengan benar ke berkas CSV?

import pandas
import os  # Import modul os

# Ekstrak, transformasi, dan muat data
raw_data = pd.read_csv("raw_stock_data.csv")
stock_data = raw_data.loc[raw_data["open"] > 100, ["timestamps", "open"]]
stock_data.to_csv("stock_data.csv")

# Periksa bahwa path ada
file_exists = os.path.exists("stock_data.csv")
print(file_exists)

True

Ayo berlatih!

ETL dan ELT di Python