Shrnutí
Scaling and Optimizing Data Pipelines with Polars
Liam Brannigan
Data Scientist & Polars Contributor
Kapitola 1
- Jak Polars optimalizuje líné dotazy na pozadí
- Čtení plánů dotazů a profilování provádění
- Využití seřazených dat a rychlých operací ke snížení zátěže
Kapitola 2
- Porovnání CSV a Parquet a kontrola metadat souborů
- Řízení způsobu, jakým Polars čte a zapisuje data
- Práce s více soubory, rozdělenými strukturami a databázemi
Kapitola 3
- Práce se sloupci list a struct pro vnořená data
- Použití kategorických typů a výčtů pro opakující se řetězce
- Odhad velikosti DataFrame a úprava číselné přesnosti
Kapitola 4
- Výběr výchozího, streamovacího a GPU prováděcího enginu
- Zpracování výsledků po dávkách a ukládání výstupů na disk
- Testování dotazů Polars pro spolehlivé a robustní pipeline
