ETL ve ELT Veri Hatlarına Giriş

Python ile ETL ve ELT

Jake Roach

Data Engineer

İş zekâsı, makine öğrenimi ve yapay zekâ görseli.

Veri hatları

... veriyi bir kaynaktan hedefe taşımak ve yolda bir noktada dönüştürmekten sorumludur.

Bir veri hattının kaynakları ve hedefleri.

ETL

Extract, transform, load
Geleneksel veri hattı tasarım deseni
Kaynaklar tablosal veya tablosal olmayan olabilir
Python ve pandas kullanılır

ELT

Extract, load, transform
Daha yeni desen
Veri ambarları
Genelde tablosal veri

Extract, transform, load (ETL)

def load(data_frame, target_table):
    # Veriyi SQL'e yüklemek için özel Python mantığı
    data_frame.to_sql(name=target_table, con=POSTGRES_CONNECTION)
    print(f"Loading data to the {target_table} table")

# Şimdi veri hattını çalıştırın
extracted_data = extract(file_name="raw_data.csv")
transformed_data = transform(data_frame=extracted_data)
load(data_frame=transformed_data, target_table="cleaned_data")

Extracting data from raw_data.csv
Transforming data to remove 'null' records
Loading data to the cleaned_data table

Extract, load, transform (ELT)

...
def transform(source_table, target_table):
    data_warehouse.run_sql("""
        CREATE TABLE {target_table} AS
          SELECT
              <field-name>, <field-name>, ...
          FROM {source_table};
    """)

# ETL hatlarına benzer şekilde, extract, load ve transform işlevlerini çağırın
extracted_data = extract(file_name="raw_data.csv")
load(data_frame=extracted_data, table_name="raw_data")
transform(source_table="raw_data", target_table="cleaned_data")

Ayrıca şunlara da bakacağız...

Kursun ilerleyen kısımlarında ele alınacak konuları gösteren görsel.

Hadi pratik yapalım!

Python ile ETL ve ELT