ETL और ELT Pipelines परिचय

Python में ETL और ELT

Jake Roach

Data Engineer

बिज़नेस इंटेलिजेंस, मशीन लर्निंग, और AI का ग्राफिक.

डेटा पाइपलाइन्स

... स्रोत से डेस्टिनेशन तक डेटा ले जाने और रास्ते में कहीं उसे ट्रांसफॉर्म करने के ज़िम्मेदार होते हैं.

डेटा पाइपलाइन के स्रोत और डेस्टिनेशन.

ETL

Extract, transform, load
पारंपरिक डेटा पाइपलाइन डिज़ाइन पैटर्न
स्रोत tabular या non-tabular हो सकते हैं
Python और pandas का उपयोग करें

ELT

Extract, load, transform
नया पैटर्न
डेटा वेयरहाउसेज़
आमतौर पर tabular डेटा

Extract, transform, load (ETL)

def load(data_frame, target_table):
    # Some custom-built Python logic to load data to SQL
    data_frame.to_sql(name=target_table, con=POSTGRES_CONNECTION)
    print(f"Loading data to the {target_table} table")

# Now, run the data pipeline
extracted_data = extract(file_name="raw_data.csv")
transformed_data = transform(data_frame=extracted_data)
load(data_frame=transformed_data, target_table="cleaned_data")

Extracting data from raw_data.csv
Transforming data to remove 'null' records
Loading data to the cleaned_data table

Extract, load, transform (ELT)

...
def transform(source_table, target_table):
    data_warehouse.run_sql("""
        CREATE TABLE {target_table} AS
          SELECT
              <field-name>, <field-name>, ...
          FROM {source_table};
    """)

# Similar to ETL pipelines, call the extract, load, and transform functions
extracted_data = extract(file_name="raw_data.csv")
load(data_frame=extracted_data, table_name="raw_data")
transform(source_table="raw_data", target_table="cleaned_data")

हम यह भी देखेंगे...

इस कोर्स में आगे कवर होने वाले टॉपिक्स का ग्राफिक.

अभ्यास करते हैं!

Python में ETL और ELT