pandas로 SQL 데이터베이스에 데이터 적재하기

Python으로 하는 ETL과 ELT

Jake Roach

Data Engineer

pandas로 SQL 데이터베이스에 데이터 적재하기

적재 단계가 강조된 ETL 파이프라인

pandas로 SQL 데이터베이스에 데이터 적재하기

SQL 데이터베이스에 접근하는 데이터 소비자

pandas는 .to_sql()을 제공해 데이터를 SQL에 저장합니다

name
con
if_exists
index
index_label

pandas로 Postgres에 데이터 저장하기

# Create a connection object
connection_uri = "postgresql+psycopg2://repl:password@localhost:5432/market"
db_engine = sqlalchemy.create_engine(connection_uri)

# Use the .to_sql() method to persist data to SQL
clean_stock_data.to_sql(
    name="filtered_stock_data",
    con=db_engine, 
    if_exists="append",
    index=True,
    index_label="timestamps"
)

pandas로 데이터 저장 검증하기

데이터가 예상대로 저장되었는지 검증하는 것이 중요합니다.

쿼리 가능 여부 확인
개수 일치 확인
각 행 존재 여부 검증

# Pull data written to SQL table
to_validate = pd.read_sql("SELECT * FROM cleaned_stock_data", db_engine)

# Validate counts, record equality, etc
...

연습해 봅시다!

Python으로 하는 ETL과 ELT