ETL ve ELT Boru Hatlarına Giriş

Python ile ETL ve ELT

Jake Roach

Data Engineer

Business intelligence, machine learning ve AI görseli.

Veri boru hatları

... veriyi bir kaynaktan hedefe taşımaktan ve yolda bir yerde dönüştürmekten sorumludur.

Bir veri boru hattının kaynak ve hedefleri.

ETL

Extract, transform, load
Geleneksel veri boru hattı tasarım deseni
Kaynaklar tablolu veya tablosuz olabilir
pandas ile Python'dan yararlan

ELT

Extract, load, transform
Daha yeni bir desen
Veri ambarları
Genellikle tablolu veri

Extract, transform, load (ETL)

def load(data_frame, target_table):
    # Some custom-built Python logic to load data to SQL
    data_frame.to_sql(name=target_table, con=POSTGRES_CONNECTION)
    print(f"Loading data to the {target_table} table")

# Now, run the data pipeline
extracted_data = extract(file_name="raw_data.csv")
transformed_data = transform(data_frame=extracted_data)
load(data_frame=transformed_data, target_table="cleaned_data")

Extracting data from raw_data.csv
Transforming data to remove 'null' records
Loading data to the cleaned_data table

Extract, load, transform (ELT)

...
def transform(source_table, target_table):
    data_warehouse.run_sql("""
        CREATE TABLE {target_table} AS
          SELECT
              <field-name>, <field-name>, ...
          FROM {source_table};
    """)

# Similar to ETL pipelines, call the extract, load, and transform functions
extracted_data = extract(file_name="raw_data.csv")
load(data_frame=extracted_data, table_name="raw_data")
transform(source_table="raw_data", target_table="cleaned_data")

Ayrıca şunlara da bakacağız...

Kursta daha sonra ele alınacak konuları gösteren görsel.

Hadi pratik yapalım!

Python ile ETL ve ELT