Introductie tot ETL- en ELT-pijplijnen

ETL en ELT in Python

Jake Roach

Data Engineer

Grafiek van business intelligence, machine learning en AI.

Datapijplijnen

... verplaatsen data van bron naar bestemming en transformeren die onderweg.

Brongen en bestemmingen van een datapijplijn.

ETL

Extract, transform, load
Traditioneel ontwerp van een datapijplijn
Bronnen kunnen tabelvormig of niet-tabelvormig zijn
Gebruik Python met pandas

ELT

Extract, load, transform
Recente aanpak
Datawarehouses
Meestal tabelgegevens

Extract, transform, load (ETL)

def load(data_frame, target_table):
    # Aangepaste Python-logica om data naar SQL te laden
    data_frame.to_sql(name=target_table, con=POSTGRES_CONNECTION)
    print(f"Loading data to the {target_table} table")

# Voer nu de datapijplijn uit
extracted_data = extract(file_name="raw_data.csv")
transformed_data = transform(data_frame=extracted_data)
load(data_frame=transformed_data, target_table="cleaned_data")

Extracting data from raw_data.csv
Transforming data to remove 'null' records
Loading data to the cleaned_data table

Extract, load, transform (ELT)

...
def transform(source_table, target_table):
    data_warehouse.run_sql("""
        CREATE TABLE {target_table} AS
          SELECT
              <field-name>, <field-name>, ...
          FROM {source_table};
    """)

# Net als bij ETL-pijplijnen roep je de extract-, load- en transform-functies aan
extracted_data = extract(file_name="raw_data.csv")
load(data_frame=extracted_data, table_name="raw_data")
transform(source_table="raw_data", target_table="cleaned_data")

We bekijken ook...

Grafiek met onderwerpen die later in de cursus aan bod komen.

Laten we oefenen!

ETL en ELT in Python