แนะนำ ETL และ ELT Pipelines

ETL และ ELT ด้วย Python

Jake Roach

Data Engineer

กราฟิกแสดง Business Intelligence, Machine Learning และ AI

Data pipelines

... ทำหน้าที่ย้ายข้อมูลจากต้นทางไปยังปลายทาง และแปลงข้อมูลในระหว่างทาง

แหล่งต้นทางและปลายทางของ data pipeline

ETL

Extract, transform, load
รูปแบบ data pipeline แบบดั้งเดิม
แหล่งข้อมูลอาจเป็นตารางหรือไม่ก็ได้
ใช้งานร่วมกับ Python และ pandas

ELT

Extract, load, transform
รูปแบบที่พัฒนาขึ้นในภายหลัง
Data warehouses
ส่วนใหญ่ใช้กับข้อมูลเชิงตาราง

Extract, transform, load (ETL)

def load(data_frame, target_table):
    # Some custom-built Python logic to load data to SQL
    data_frame.to_sql(name=target_table, con=POSTGRES_CONNECTION)
    print(f"Loading data to the {target_table} table")

# Now, run the data pipeline
extracted_data = extract(file_name="raw_data.csv")
transformed_data = transform(data_frame=extracted_data)
load(data_frame=transformed_data, target_table="cleaned_data")

Extracting data from raw_data.csv
Transforming data to remove 'null' records
Loading data to the cleaned_data table

Extract, load, transform (ELT)

...
def transform(source_table, target_table):
    data_warehouse.run_sql("""
        CREATE TABLE {target_table} AS
          SELECT
              <field-name>, <field-name>, ...
          FROM {source_table};
    """)

# Similar to ETL pipelines, call the extract, load, and transform functions
extracted_data = extract(file_name="raw_data.csv")
load(data_frame=extracted_data, table_name="raw_data")
transform(source_table="raw_data", target_table="cleaned_data")

เราจะได้ศึกษาเพิ่มเติมเกี่ยวกับ...

กราฟิกแสดงหัวข้อที่จะกล่าวถึงในส่วนต่อไปของคอร์ส

มาฝึกกันเถอะ!

ETL และ ELT ด้วย Python