효과적인 쿼리 실행

Polars로 데이터 파이프라인 확장 및 최적화하기

Liam Brannigan

Data Scientist & Polars Contributor

강사 소개

Liam Brannigan, 수석 데이터 과학자
ML 및 데이터 엔지니어링 전문가
Polars 기여자

이 강의 강사 Liam Brannigan의 사진

노트북에서 클라우드로

노트북에서 클라우드로 확장되는 Polars 파이프라인

이 강좌가 적합한가요?

Polars 강의 페이지

scan_csv{{1}}로 지연 쿼리 생성
filter, select, group_by{{2}}를 사용한 표현식 작성

Chapter 1 - 최적화

쿼리 최적화

Chapter 1 - 최적화

쿼리 최적화

Chapter 2 - 효율적인 I/O

여러 파일 유형을 읽어들이는 Polars 이미지

Chapter 3 - 풍부한 dtype

중첩 데이터를 테이블로 변환하는 다이어그램

Chapter 4 - 파이프라인 확장

대용량 테이블이 스트리밍되는 이미지

시카고 민원 데이터셋

시카고 시장의 데이터 분석팀

데이터셋 탐색

requests = pl.scan_csv("311_Service_Requests.csv",try_parse_dates=True)

시카고 시민의 모든 민원을 기록한 대용량 데이터셋

데이터셋 탐색

requests.collect()

데이터셋 탐색

requests.collect().head(5)

shape: (5, 39)
| TYPE                          | STATUS    | DEPARTMENT     | CREATED_DATE        | ... |
| ---                           | ---       | ---            | ---                 | --- |
| str                           | str       | str            | str                 | ... |
|-------------------------------|-----------|----------------|---------------------|-----|
| Pothole in Street Complaint   | Completed | Transportation | 2019-12-16T10:09:08 | ... |
| Tree Trim Request             | Cancelled | Sanitation     | 2019-09-18T01:05:08 | ... |
| Garbage Cart Maintenance      | Completed | Sanitation     | 2021-01-24T09:14:58 | ... |
| Pothole in Street Complaint   | Completed | Transportation | 2019-03-21T10:41:01 | ... |
| Recycling Pick Up             | Completed | Sanitation     | 2021-02-16T08:28:59 | ... |

처리 행 수 제한

requests.head(5)

처리 행 수 제한

requests.head(5).collect()

shape: (5, 39)
| TYPE                            | STATUS    | DEPARTMENT     | CREATED_DATE        | ... |
| ---                             | ---       | ---            | ---                 | --- |
| str                             | str       | str            | str                 | ... |
|---------------------------------|-----------|----------------|---------------------|-----|
| Pothole in Street Complaint     | Completed | Transportation | 2019-12-16T10:09:08 | ... |
| Tree Trim Request | Completed | Sanitation     | 2019-09-18T01:05:08 | ... |
| Garbage Cart Maintenance        | Completed | Sanitation     | 2021-01-24T09:14:58 | ... |
| Pothole in Street Complaint     | Completed | Transportation | 2019-03-21T10:41:01 | ... |
| Recycling Pick Up               | Completed | Sanitation     | 2021-02-16T08:28:59 | ... |

collect{{2}} 호출을 나중으로 미루기

부서별 요약 쿼리

completed_by_department

부서별 요약 쿼리

completed_by_department = requests

부서별 요약 쿼리

completed_by_department = requests.filter(
    pl.col("STATUS") == "Completed"
)

부서별 요약 쿼리

completed_by_department = requests.filter(
    pl.col("STATUS") == "Completed"
).collect()

부서별 요약 쿼리

completed_by_department = requests.filter(
    pl.col("STATUS") == "Completed"
).collect().group_by("DEPARTMENT").len()

부서별 요약 쿼리

completed_by_department = requests.filter(
    pl.col("STATUS") == "Completed"
).group_by("DEPARTMENT").len().collect()

shape: (10, 2)
| DEPARTMENT                     | len     |
| ---                            | ---     |
| str                            | u32     |
|-------------------------------|---------|
| 311 City Services              | 4859161 |
| Sanitation                     | 3406631 |
| Aviation                       | 2337842 |
| CDOT - Department of Transport | 1468240 |

분기하는 쿼리 브랜치

completed_by_department = requests.filter(
    pl.col("STATUS") == "Completed"
).group_by("DEPARTMENT").len()

completed_by_month = requests.filter(
    pl.col("STATUS") == "Completed"
).group_by("MONTH").len()

현재 팀의 실행 방식

completed_by_department.collect()
completed_by_month.collect()

분기 쿼리 실행

results = pl.collect_all(


)

분기 쿼리 실행

results = pl.collect_all([
    completed_by_department,
    completed_by_month,
])

분기 쿼리 실행

results[0]  # completed_by_department
shape: (10, 2)
| DEPARTMENT           | len     |
| ---                  | ---     |
| str                  | u32     |
|----------------------|---------|
| 311 City Services    | 4859161 |
| Sanitation           | 3406631 |
| Aviation             | 2337842 |
| Transport            | 1468240 |

results[1]  # completed_by_month
shape: (12, 2)
| MONTH | len  |
| ---   | ---  |
| i64   | u32  |
|-------|------|
| 1     | 2506 |
| 2     | 4566 |
| 3     | 2739 |
| 4     | 2922 |

연습해 봅시다!

Polars로 데이터 파이프라인 확장 및 최적화하기