Pengantar Pipeline ETL dan ELT

ETL dan ELT di Python

Jake Roach

Data Engineer

Grafik business intelligence, machine learning, dan AI.

Data pipeline

... memindahkan data dari sumber ke tujuan, dan mentransformasikannya di sepanjang proses.

Sumber dan tujuan sebuah data pipeline.

ETL

Extract, transform, load
Pola desain data pipeline tradisional
Sumber bisa tabular atau non-tabular
Manfaatkan Python dengan pandas

ELT

Extract, load, transform
Pola yang lebih baru
Data warehouse
Umumnya data tabular

Extract, transform, load (ETL)

def load(data_frame, target_table):
    # Some custom-built Python logic to load data to SQL
    data_frame.to_sql(name=target_table, con=POSTGRES_CONNECTION)
    print(f"Loading data to the {target_table} table")

# Now, run the data pipeline
extracted_data = extract(file_name="raw_data.csv")
transformed_data = transform(data_frame=extracted_data)
load(data_frame=transformed_data, target_table="cleaned_data")

Extracting data from raw_data.csv
Transforming data to remove 'null' records
Loading data to the cleaned_data table

Extract, load, transform (ELT)

...
def transform(source_table, target_table):
    data_warehouse.run_sql("""
        CREATE TABLE {target_table} AS
          SELECT
              <field-name>, <field-name>, ...
          FROM {source_table};
    """)

# Similar to ETL pipelines, call the extract, load, and transform functions
extracted_data = extract(file_name="raw_data.csv")
load(data_frame=extracted_data, table_name="raw_data")
transform(source_table="raw_data", target_table="cleaned_data")

Kita juga akan melihat...

Grafik yang menampilkan topik yang akan dibahas nanti di kursus.

Ayo berlatih!

ETL dan ELT di Python