ETL と ELT パイプライン入門

Python で学ぶ ETL と ELT

Jake Roach

Data Engineer

$$

ビジネスインテリジェンス、Machine Learning、AI を示す図

Python で学ぶ ETL と ELT

データパイプライン

データパイプラインは、データをソースからデスティネーションへ移動させ、その過程でデータを変換する役割を担います。

$$

データパイプラインのソースとデスティネーション

Python で学ぶ ETL と ELT

ETL

  • 抽出、変換、ロード
  • 従来のデータパイプライン設計パターン
  • ソースは表形式または非表形式
  • Python と pandas を活用

$$

$$

$$

$$

ELT

  • 抽出、ロード、変換
  • より新しいパターン
  • データウェアハウス
  • 主に表形式データ
Python で学ぶ ETL と ELT

抽出、変換、ロード（ETL）

def load(data_frame, target_table):
    # Some custom-built Python logic to load data to SQL
    data_frame.to_sql(name=target_table, con=POSTGRES_CONNECTION)
    print(f"Loading data to the {target_table} table")

# Now, run the data pipeline
extracted_data = extract(file_name="raw_data.csv")
transformed_data = transform(data_frame=extracted_data)
load(data_frame=transformed_data, target_table="cleaned_data")

Extracting data from raw_data.csv
Transforming data to remove 'null' records
Loading data to the cleaned_data table
Python で学ぶ ETL と ELT

抽出、ロード、変換（ELT）

...
def transform(source_table, target_table):
    data_warehouse.run_sql("""
        CREATE TABLE {target_table} AS
          SELECT
              <field-name>, <field-name>, ...
          FROM {source_table};
    """)

# Similar to ETL pipelines, call the extract, load, and transform functions
extracted_data = extract(file_name="raw_data.csv")
load(data_frame=extracted_data, table_name="raw_data")
transform(source_table="raw_data", target_table="cleaned_data")
Python で学ぶ ETL と ELT

この後、以下のトピックも扱います

$$

コース後半で扱うトピックを示す図

Python で学ぶ ETL と ELT

練習しましょう！

Python で学ぶ ETL と ELT

Preparing Video For Download...