pandas ile veriyi kalıcı hale getirme

Python ile ETL ve ELT

Jake Roach

Data Engineer

ETL hattında veriyi kalıcılaştırma

Dosyaya veri yükleme:

Veri tüketicilerinin dönüştürülmüş veriye güvenilir erişimini sağlar
ETL sürecinin sonunda ve adımlar arasında gerçekleşir
Verinin bir "anlık görüntüsünü" yakalar

pandas ile CSV dosyalarına veri yükleme

.to_csv() yöntemi

import pandas as pd

# Veri çıkarma ve dönüştürme
raw_data = pd.read_csv("raw_stock_data.csv")
stock_data = raw_data.loc[raw_data["open"] > 100, ["timestamps", "open"]]

# Veriyi .csv dosyasına yükle
stock_data.to_csv("stock_data.csv")

DataFrame üzerinde .to_csv çağrılır
DataFrame'i "stock_data.csv" yoluna yazar

CSV çıktılarını özelleştirme

stock_data.to_csv("./stock_data.csv", header=True)

True, False ya da string liste alır

stock_data.to_csv("./stock_data.csv", index=True)

True ya da False alır
index sütununun dosyaya yazılıp yazılmayacağını belirler

stock_data.to_csv("./stock_data.csv", sep="|")

Dosyada sütunları ayırmak için kullanılacak string değeri alır
| karakteri yaygın bir seçenektir

Muadilleri vardır:

.to_parquet()
.to_json()
.to_sql()

¹ https://pandas.pydata.org/docs/reference/api/pandas.DataFrame.to_csv.html

Veri kalıcılığını doğrulama

DataFrame CSV dosyasına doğru kaydedildi mi?

import pandas
import os  # os modülünü içe aktar

# Veriyi çıkar, dönüştür ve yükle
raw_data = pd.read_csv("raw_stock_data.csv")
stock_data = raw_data.loc[raw_data["open"] > 100, ["timestamps", "open"]]
stock_data.to_csv("stock_data.csv")

# Yolun varlığını kontrol et
file_exists = os.path.exists("stock_data.csv")
print(file_exists)

True

Hadi pratik yapalım!

Python ile ETL ve ELT