Giới thiệu về pipeline ETL và ELT

ETL và ELT với Python

Jake Roach

Data Engineer

$$

Đồ họa về business intelligence, machine learning và AI.

ETL và ELT với Python

Data pipeline

... chịu trách nhiệm chuyển dữ liệu từ nguồn đến đích và chuyển đổi dữ liệu ở đâu đó trên đường đi.

$$

Nguồn và đích của một data pipeline.

ETL và ELT với Python

ETL

  • Extract, transform, load
  • Mẫu thiết kế data pipeline truyền thống
  • Nguồn có thể dạng bảng hoặc phi bảng
  • Tận dụng Python với pandas

$$

$$

$$

$$

ELT

  • Extract, load, transform
  • Mẫu gần đây hơn
  • Data warehouse
  • Thường là dữ liệu dạng bảng
ETL và ELT với Python

Extract, transform, load (ETL)

def load(data_frame, target_table):
    # Some custom-built Python logic to load data to SQL
    data_frame.to_sql(name=target_table, con=POSTGRES_CONNECTION)
    print(f"Loading data to the {target_table} table")

# Now, run the data pipeline
extracted_data = extract(file_name="raw_data.csv")
transformed_data = transform(data_frame=extracted_data)
load(data_frame=transformed_data, target_table="cleaned_data")

Extracting data from raw_data.csv
Transforming data to remove 'null' records
Loading data to the cleaned_data table
ETL và ELT với Python

Extract, load, transform (ELT)

...
def transform(source_table, target_table):
    data_warehouse.run_sql("""
        CREATE TABLE {target_table} AS
          SELECT
              <field-name>, <field-name>, ...
          FROM {source_table};
    """)

# Similar to ETL pipelines, call the extract, load, and transform functions
extracted_data = extract(file_name="raw_data.csv")
load(data_frame=extracted_data, table_name="raw_data")
transform(source_table="raw_data", target_table="cleaned_data")
ETL và ELT với Python

Chúng ta cũng sẽ xem thêm về...

$$

Đồ họa minh họa các chủ đề sẽ đề cập ở phần sau của khóa học.

ETL và ELT với Python

Cùng luyện tập nào!

ETL và ELT với Python

Preparing Video For Download...