Podsumowanie
Skalowanie i optymalizacja potoków danych w Polars
Liam Brannigan
Data Scientist & Polars Contributor
Rozdział 1
- Jak Polars optymalizuje zapytania leniwe w tle
- Odczytywanie planów zapytań i profilowanie wykonania
- Używanie posortowanych danych i szybkich ścieżek, aby ograniczyć liczbę operacji
Rozdział 2
- Porównanie CSV i Parquet oraz inspekcja metadanych plików
- Kontrolowanie sposobu skanowania i zapisu danych w Polars
- Skalowanie do zbiorów wielu plików, układów partycjonowanych i baz danych
Rozdział 3
- Praca z kolumnami list i struktur dla danych zagnieżdżonych
- Używanie typów kategorycznych i wyliczeniowych dla powtarzających się ciągów znaków
- Szacowanie rozmiaru DataFrame i dostrajanie precyzji numerycznej
Rozdział 4
- Wybór silnika wykonania: domyślny, strumieniowy i GPU
- Przetwarzanie wyników partiami i zapis wyników na dysk
- Testowanie zapytań Polars pod kątem niezawodnych potoków danych
