pandas로 데이터 지속성 유지

Python으로 ETL과 ELT

Jake Roach

Data Engineer

ETL 파이프라인에서 데이터 지속성

파일로 데이터 적재:

데이터 소비자가 변환된 데이터에 안정적으로 접근하도록 보장
ETL의 마지막 단계이자, 단계 간에도 수행됨
데이터의 "스냅샷"을 캡처

pandas로 CSV 파일에 적재하기

.to_csv() 메서드

import pandas as pd

# Data extraction and transformation
raw_data = pd.read_csv("raw_stock_data.csv")
stock_data = raw_data.loc[raw_data["open"] > 100, ["timestamps", "open"]]

# Load data to a .csv file
stock_data.to_csv("stock_data.csv")

DataFrame에서 .to_csv 호출
DataFrame을 경로 "stock_data.csv"에 기록

CSV 출력 커스터마이즈

stock_data.to_csv("./stock_data.csv", header=True)

True, False 또는 문자열 리스트 사용

stock_data.to_csv("./stock_data.csv", index=True)

True 또는 False 사용
index 열을 파일에 쓸지 결정

stock_data.to_csv("./stock_data.csv", sep="|")

파일에서 열을 구분할 문자열 지정
| 문자가 흔히 쓰임

대응 메서드:

.to_parquet()
.to_json()
.to_sql()

¹ https://pandas.pydata.org/docs/reference/api/pandas.DataFrame.to_csv.html

데이터 지속성 보장

DataFrame가 CSV 파일에 올바르게 저장되었나요?

import pandas
import os  # Import the os module

# Extract, transform and load data
raw_data = pd.read_csv("raw_stock_data.csv")
stock_data = raw_data.loc[raw_data["open"] > 100, ["timestamps", "open"]]
stock_data.to_csv("stock_data.csv")

# Check that the path exists
file_exists = os.path.exists("stock_data.csv")
print(file_exists)

True

연습해 봅시다!

Python으로 ETL과 ELT