まとめ
Polars によるデータパイプラインのスケーリングと最適化
Liam Brannigan
Data Scientist & Polars Contributor
第1章
- Polarsがレイジークエリを最適化する仕組みの理解
- クエリプランの読み方と実行プロファイリング
- ソート済みデータとファストパス操作による処理削減
第2章
- CSVとParquetの比較およびファイルメタデータの確認
- Polarsによるデータのスキャンと書き込みの制御
- 複数ファイルのデータセット、パーティション構成、データベースへのスケーリング
第3章
- ネストデータ向けのリスト列・構造体列の活用
- 繰り返し文字列に対するカテゴリ型・列挙型の使用
- DataFrameのサイズ推定と数値精度の調整
第4章
- デフォルト・ストリーミング・GPU実行エンジンの使い分け
- バッチ処理と結果のディスクへの出力
- 堅牢で信頼性の高いパイプラインのためのPolarsクエリのテスト
