pandas ile verileri bir SQL veritabanına yükleme

Python ile ETL ve ELT

Jake Roach

Data Engineer

pandas ile verileri bir SQL veritabanına yükleyin

Yükleme bileşeni vurgulanmış ETL veri hattı.

pandas ile verileri bir SQL veritabanına yükleme

Bir SQL veritabanına erişen veri tüketicileri.

pandas, veriyi SQL'e kalıcılaştırmak için .to_sql() sağlar

name
con
if_exists
index
index_label

pandas ile verileri Postgres'e kalıcılaştırma

# Create a connection object
connection_uri = "postgresql+psycopg2://repl:password@localhost:5432/market"
db_engine = sqlalchemy.create_engine(connection_uri)

# Use the .to_sql() method to persist data to SQL
clean_stock_data.to_sql(
    name="filtered_stock_data",
    con=db_engine, 
    if_exists="append",
    index=True,
    index_label="timestamps"
)

pandas ile veri kalıcılığını doğrulama

Verinin beklendiği gibi kalıcılaştığını doğrulamak önemlidir.

Sorgulanabildiğini kontrol edin
Sayımların eşleştiğinden emin olun
Her satırın mevcut olduğunu doğrulayın

# SQL tablosuna yazılan veriyi çekin
to_validate = pd.read_sql("SELECT * FROM cleaned_stock_data", db_engine)

# Sayımları, kayıt eşitliğini vb. doğrulayın
...

Haydi pratik yapalım!

Python ile ETL ve ELT