Wczytywanie danych do bazy SQL za pomocą pandas

ETL i ELT w Pythonie

Jake Roach

Data Engineer

Wczytaj dane do bazy SQL za pomocą pandas

Pipeline ETL z zaznaczonym etapem ładowania danych.

Wczytywanie danych do bazy SQL za pomocą pandas

Odbiorcy danych korzystający z bazy SQL.

pandas udostępnia metodę .to_sql() do zapisywania danych w SQL

name
con
if_exists
index
index_label

Zapisywanie danych w Postgres za pomocą pandas

# Create a connection object
connection_uri = "postgresql+psycopg2://repl:password@localhost:5432/market"
db_engine = sqlalchemy.create_engine(connection_uri)

# Use the .to_sql() method to persist data to SQL
clean_stock_data.to_sql(
    name="filtered_stock_data",
    con=db_engine, 
    if_exists="append",
    index=True,
    index_label="timestamps"
)

Walidacja zapisu danych za pomocą pandas

Ważne jest, aby sprawdzić, czy dane zostały zapisane poprawnie.

upewnij się, że dane można odpytać
sprawdź, czy liczby się zgadzają
zweryfikuj, czy każdy wiersz jest obecny

# Pull data written to SQL table
to_validate = pd.read_sql("SELECT * FROM cleaned_stock_data", db_engine)

# Validate counts, record equality, etc
...

Czas na praktykę!

ETL i ELT w Pythonie