Încărcarea datelor într-o bază de date SQL cu pandas

ETL și ELT în Python

Jake Roach

Data Engineer

Încarcă date într-o bază de date SQL cu pandas

Pipeline ETL cu componenta de încărcare evidențiată.

Încărcarea datelor într-o bază de date SQL cu pandas

Consumatori de date accesând o bază de date SQL.

pandas oferă .to_sql() pentru a persista date în SQL

name
con
if_exists
index
index_label

Persistarea datelor în Postgres cu pandas

# Create a connection object
connection_uri = "postgresql+psycopg2://repl:password@localhost:5432/market"
db_engine = sqlalchemy.create_engine(connection_uri)

# Use the .to_sql() method to persist data to SQL
clean_stock_data.to_sql(
    name="filtered_stock_data",
    con=db_engine, 
    if_exists="append",
    index=True,
    index_label="timestamps"
)

Validarea persistenței datelor cu pandas

Este important să validezi că datele sunt persistate conform așteptărilor.

Asigură-te că datele pot fi interogate
Verifică dacă numărul de înregistrări corespunde
Validează că fiecare rând este prezent

# Pull data written to SQL table
to_validate = pd.read_sql("SELECT * FROM cleaned_stock_data", db_engine)

# Validate counts, record equality, etc
...

Hai să exersăm!

ETL și ELT în Python