pandas로 SQL 데이터베이스에 데이터 적재하기

Python으로 ETL과 ELT

Jake Roach

Data Engineer

pandas로 SQL 데이터베이스에 데이터 로드

로드 구성 요소가 강조된 ETL 파이프라인.

pandas로 SQL 데이터베이스에 데이터 로드하기

데이터 소비자가 SQL 데이터베이스에 접속.

pandas는 데이터를 SQL에 저장하는 .to_sql()을 제공합니다

name
con
if_exists
index
index_label

pandas로 Postgres에 데이터 영속화

# Create a connection object
connection_uri = "postgresql+psycopg2://repl:password@localhost:5432/market"
db_engine = sqlalchemy.create_engine(connection_uri)

# Use the .to_sql() method to persist data to SQL
clean_stock_data.to_sql(
    name="filtered_stock_data",
    con=db_engine, 
    if_exists="append",
    index=True,
    index_label="timestamps"
)

pandas로 데이터 영속성 검증

데이터가 기대대로 저장되었는지 검증하는 것이 중요합니다.

쿼리 가능 여부 확인
건수 일치 확인
각 행이 존재하는지 확인

# Pull data written to SQL table
to_validate = pd.read_sql("SELECT * FROM cleaned_stock_data", db_engine)

# Validate counts, record equality, etc
...

실습해 봅시다!

Python으로 ETL과 ELT