ETL 및 ELT 파이프라인 소개

Python으로 ETL과 ELT

Jake Roach

Data Engineer

비즈니스 인텔리전스, 머신 러닝, AI 그래픽.

데이터 파이프라인

...는 데이터를 소스에서 대상까지 이동시키고, 그 과정 어딘가에서 변환합니다.

데이터 파이프라인의 소스와 대상.

ETL

Extract, Transform, Load
전통적인 데이터 파이프라인 패턴
소스는 표 형식 또는 비표 형식 가능
Python과 pandas 활용

ELT

Extract, Load, Transform
더 최근의 패턴
데이터 웨어하우스
주로 표 형식 데이터

추출, 변환, 적재(ETL)

def load(data_frame, target_table):
    # SQL로 데이터를 적재하는 사용자 정의 Python 로직
    data_frame.to_sql(name=target_table, con=POSTGRES_CONNECTION)
    print(f"Loading data to the {target_table} table")

# 이제 데이터 파이프라인을 실행합니다
extracted_data = extract(file_name="raw_data.csv")
transformed_data = transform(data_frame=extracted_data)
load(data_frame=transformed_data, target_table="cleaned_data")

Extracting data from raw_data.csv
Transforming data to remove 'null' records
Loading data to the cleaned_data table

추출, 적재, 변환(ELT)

...
def transform(source_table, target_table):
    data_warehouse.run_sql("""
        CREATE TABLE {target_table} AS
          SELECT
              <field-name>, <field-name>, ...
          FROM {source_table};
    """)

# ETL 파이프라인과 유사하게, extract, load, transform 함수를 호출합니다
extracted_data = extract(file_name="raw_data.csv")
load(data_frame=extracted_data, table_name="raw_data")
transform(source_table="raw_data", target_table="cleaned_data")

다음도 살펴봅니다

과정 후반에 다룰 주제의 그래픽.

연습해 봅시다!

Python으로 ETL과 ELT