Introducere în pipeline-uri ETL și ELT

ETL și ELT în Python

Jake Roach

Data Engineer

Grafic despre business intelligence, machine learning și AI.

Pipeline-uri de date

... sunt responsabile pentru mutarea datelor dintr-o sursă către o destinație, transformându-le pe parcurs.

Surse și destinații ale unui pipeline de date.

ETL

Extract, transform, load
Model tradițional de pipeline de date
Sursele pot fi tabulare sau non-tabulare
Folosește Python cu pandas

ELT

Extract, load, transform
Model mai recent
Depozite de date (data warehouses)
De obicei date tabulare

Extract, transform, load (ETL)

def load(data_frame, target_table):
    # Some custom-built Python logic to load data to SQL
    data_frame.to_sql(name=target_table, con=POSTGRES_CONNECTION)
    print(f"Loading data to the {target_table} table")

# Now, run the data pipeline
extracted_data = extract(file_name="raw_data.csv")
transformed_data = transform(data_frame=extracted_data)
load(data_frame=transformed_data, target_table="cleaned_data")

Extracting data from raw_data.csv
Transforming data to remove 'null' records
Loading data to the cleaned_data table

Extract, load, transform (ELT)

...
def transform(source_table, target_table):
    data_warehouse.run_sql("""
        CREATE TABLE {target_table} AS
          SELECT
              <field-name>, <field-name>, ...
          FROM {source_table};
    """)

# Similar to ETL pipelines, call the extract, load, and transform functions
extracted_data = extract(file_name="raw_data.csv")
load(data_frame=extracted_data, table_name="raw_data")
transform(source_table="raw_data", target_table="cleaned_data")

Vom analiza și...

Grafic cu subiecte ce vor fi discutate mai târziu în curs.

Hai să exersăm!

ETL și ELT în Python