pandas ile verileri bir SQL veritabanına yükleme

Python ile ETL ve ELT

Jake Roach

Data Engineer

pandas ile verileri bir SQL veritabanına yükle

Yükleme bileşeni vurgulanmış ETL veri hattı.

pandas ile verileri bir SQL veritabanına yükleme

Bir SQL veritabanına erişen veri tüketicileri.

pandas, verileri SQL'e kalıcı yazmak için .to_sql() sağlar

name
con
if_exists
index
index_label

pandas ile verileri Postgres'e kalıcı yazma

# Create a connection object
connection_uri = "postgresql+psycopg2://repl:password@localhost:5432/market"
db_engine = sqlalchemy.create_engine(connection_uri)

# Use the .to_sql() method to persist data to SQL
clean_stock_data.to_sql(
    name="filtered_stock_data",
    con=db_engine, 
    if_exists="append",
    index=True,
    index_label="timestamps"
)

pandas ile veri kalıcılığını doğrulama

Verinin beklendiği gibi kalıcılaştığını doğrulamak önemlidir.

Verinin sorgulanabildiğinden emin ol
Sayımların eşleştiğini kontrol et
Her satırın mevcut olduğunu doğrula

# Pull data written to SQL table
to_validate = pd.read_sql("SELECT * FROM cleaned_stock_data", db_engine)

# Validate counts, record equality, etc
...

Hadi pratik yapalım!

Python ile ETL ve ELT