En résumé
Mise à l'échelle et optimisation des pipelines de données avec Polars
Liam Brannigan
Data Scientist & Polars Contributor
Chapitre 1
- Comprendre comment Polars optimise les requêtes paresseuses en arrière-plan
- Lire les plans de requête et profiler l'exécution
- Exploiter les données triées et les raccourcis rapides pour réduire le travail
Chapitre 2
- Comparer CSV et Parquet et inspecter les métadonnées des fichiers
- Contrôler la façon dont Polars balaie et écrit les données
- Passer à des ensembles multifichiers, des partitions et des bases de données
Chapitre 3
- Travailler avec des colonnes liste et struct pour des données imbriquées
- Utiliser des types catégoriels et enum pour des chaînes répétées
- Estimer la taille du DataFrame et ajuster la précision numérique
Chapitre 4
- Cibler les moteurs d'exécution par défaut, en diffusion continue et GPU
- Traiter les résultats par lots et écrire les sorties sur disque
- Tester les requêtes Polars pour des pipelines robustes et fiables
