レイジーモードの紹介
Polars入門
Liam Brannigan
Data Scientist & Polars Contributor
イーガーモード
(
pl.read_csv("vacation_rentals.csv")
)
- CSVをDataFrameに読み込み
レイジーモード
イーガーモード
(
pl.read_csv("vacation_rentals.csv")
)
- CSVをDataFrameに読み込み
レイジーモード
(
pl.scan_csv("vacation_rentals.csv")
)
- クエリ計画を開始
- CSVの先頭行を読み取る
イーガーモード
(
pl.read_csv("vacation_rentals.csv")
)
| name | type | ... | beach |
| --- | --- | ... | --- |
| str | str | ... | bool |
|----------|---------| ... |-------|
| Waves | Cottage | ... | false |
| Seashell | Cottage | ... | true |
| ... | ... | ... | ... |
レイジーモード
(
pl.scan_csv("vacation_rentals.csv")
)
naive plan:
Csv SCAN [vacation_rentals.csv]
PROJECT */8 COLUMNS
イーガーモード
(
pl.read_csv("vacation_rentals.csv")
.select("name","price")
)
レイジーモード
イーガーモード
(
pl.read_csv("vacation_rentals.csv")
.select("name","price")
)
レイジーモード
(
pl.scan_csv("vacation_rentals.csv")
.select("name","price")
)
- クエリ計画を更新
- クエリ計画を最適化
最適化されたクエリ計画
print(
pl.scan_csv("vacation_rentals.csv")
.select("name","price")
.explain()
)
Csv SCAN [vacation_rentals.csv]PROJECT 2/8 COLUMNS
- 最適化: projection pushdown
レイジークエリの実行
(
pl.scan_csv("vacation_rentals.csv")
.select("name","price")
.collect()
)
shape: (49, 2)
| name | price |
| --- | --- |
| str | i64 |
|-----------|-------|
| Waves | 540 |
| Seashells | 540 |
| ... | ... |
イーガー vs. レイジー
(
pl.read_csv("vacation_rentals.csv")
.select("name","price")
)
- 行ごとに実行
(
pl.scan_csv("vacation_rentals.csv")
.select("name","price")
.collect()
)
- クエリ全体を実行
イーガー vs. レイジー
- 手順ごと: イーガー
- デバッグ: イーガー
- 高速化: レイジー
Let's practice!
Polars入門
