Introduktion till ETL- och ELT-pipelines

ETL och ELT i Python

Jake Roach

Data Engineer

Grafik om business intelligence, maskininlärning och AI.

Datapipelines

... ansvarar för att flytta data från en källa till en destination, och transformera den någonstans på vägen.

Källor och destinationer i en datapipeline.

ETL

Extrahera, transformera, ladda
Traditionellt designmönster för datapipelines
Källor kan vara tabellbaserade eller icke-tabellbaserade
Använd Python med pandas

ELT

Extrahera, ladda, transformera
Nyare mönster
Datalager
Vanligtvis tabellbaserad data

Extract, transform, load (ETL)

def load(data_frame, target_table):
    # Some custom-built Python logic to load data to SQL
    data_frame.to_sql(name=target_table, con=POSTGRES_CONNECTION)
    print(f"Loading data to the {target_table} table")

# Now, run the data pipeline
extracted_data = extract(file_name="raw_data.csv")
transformed_data = transform(data_frame=extracted_data)
load(data_frame=transformed_data, target_table="cleaned_data")

Extracting data from raw_data.csv
Transforming data to remove 'null' records
Loading data to the cleaned_data table

Extract, load, transform (ELT)

...
def transform(source_table, target_table):
    data_warehouse.run_sql("""
        CREATE TABLE {target_table} AS
          SELECT
              <field-name>, <field-name>, ...
          FROM {source_table};
    """)

# Similar to ETL pipelines, call the extract, load, and transform functions
extracted_data = extract(file_name="raw_data.csv")
load(data_frame=extracted_data, table_name="raw_data")
transform(source_table="raw_data", target_table="cleaned_data")

Vi tar även en titt på...

Grafik som visar ämnen som tas upp senare i kursen.

Nu kör vi en övning!

ETL och ELT i Python