ETL และ ELT Pipelines เบื้องต้น

ETL and ELT ใน Python

Jake Roach

Data Engineer

ภาพกราฟิกเกี่ยวกับ business intelligence, machine learning และ AI

ไปป์ไลน์ข้อมูล

... มีหน้าที่ย้ายข้อมูลจากต้นทางไปยังปลายทาง และแปลงข้อมูลระหว่างทาง

ต้นทางและปลายทางของไปป์ไลน์ข้อมูล

ETL

Extract, transform, load
รูปแบบการออกแบบดาต้าไปป์ไลน์แบบดั้งเดิม
แหล่งข้อมูลอาจเป็นข้อมูลแบบตารางหรือไม่ใช่ตาราง
ใช้ Python ร่วมกับ pandas

ELT

Extract, load, transform
รูปแบบที่ใหม่กว่า
ดาต้าแวร์เฮาส์
โดยทั่วไปเป็นข้อมูลแบบตาราง

Extract, transform, load (ETL)

def load(data_frame, target_table):
    # Some custom-built Python logic to load data to SQL
    data_frame.to_sql(name=target_table, con=POSTGRES_CONNECTION)
    print(f"Loading data to the {target_table} table")

# Now, run the data pipeline
extracted_data = extract(file_name="raw_data.csv")
transformed_data = transform(data_frame=extracted_data)
load(data_frame=transformed_data, target_table="cleaned_data")

Extracting data from raw_data.csv
Transforming data to remove 'null' records
Loading data to the cleaned_data table

Extract, load, transform (ELT)

...
def transform(source_table, target_table):
    data_warehouse.run_sql("""
        CREATE TABLE {target_table} AS
          SELECT
              <field-name>, <field-name>, ...
          FROM {source_table};
    """)

# Similar to ETL pipelines, call the extract, load, and transform functions
extracted_data = extract(file_name="raw_data.csv")
load(data_frame=extracted_data, table_name="raw_data")
transform(source_table="raw_data", target_table="cleaned_data")

นอกจากนี้ เรายังจะดู...

ภาพกราฟิกแสดงหัวข้อที่จะกล่าวถึงในคอร์สต่อไป

มาฝึกกันเถอะ!

ETL and ELT ใน Python