Introductie tot ETL- en ELT-pijplijnen

ETL en ELT in Python

Jake Roach

Data Engineer

Afbeelding van business intelligence, machine learning en AI.

Datapijplijnen

... verplaatsen gegevens van een bron naar een bestemming en transformeren die ergens onderweg.

Bronnen en bestemmingen van een datapijplijn.

ETL

Extract, transform, load
Traditioneel ontwerp van datapijplijnen
Bronnen kunnen tabelvormig of niet-tabelvormig zijn
Gebruik Python met pandas

ELT

Extract, load, transform
Recentere aanpak
Datawarehouses
Meestal tabelgegevens

Extract, transform, load (ETL)

def load(data_frame, target_table):
    # Some custom-built Python logic to load data to SQL
    data_frame.to_sql(name=target_table, con=POSTGRES_CONNECTION)
    print(f"Loading data to the {target_table} table")

# Now, run the data pipeline
extracted_data = extract(file_name="raw_data.csv")
transformed_data = transform(data_frame=extracted_data)
load(data_frame=transformed_data, target_table="cleaned_data")

Extracting data from raw_data.csv
Transforming data to remove 'null' records
Loading data to the cleaned_data table

Extract, load, transform (ELT)

...
def transform(source_table, target_table):
    data_warehouse.run_sql("""
        CREATE TABLE {target_table} AS
          SELECT
              <field-name>, <field-name>, ...
          FROM {source_table};
    """)

# Similar to ETL pipelines, call the extract, load, and transform functions
extracted_data = extract(file_name="raw_data.csv")
load(data_frame=extracted_data, table_name="raw_data")
transform(source_table="raw_data", target_table="cleaned_data")

We kijken ook naar...

Grafiek met onderwerpen die later in de cursus aan bod komen.

Laten we oefenen!

ETL en ELT in Python