Afronden

Data-pipelines schalen en optimaliseren met Polars

Liam Brannigan

Data Scientist & Polars Contributor

Hoofdstuk 1

Query-optimalisatie

  • Begrijpen hoe Polars luie queries onder de motorkap optimaliseert
  • Queryplannen lezen en uitvoering profileren
  • Gesorteerde data en fast‑path‑operaties gebruiken om werk te verminderen
Data-pipelines schalen en optimaliseren met Polars

Hoofdstuk 2

Afbeelding van Polars dat meerdere bestandstypen inleest

  • CSV en Parquet vergelijken en bestandsmetadata bekijken
  • Hoe Polars data scant en schrijft sturen
  • Schalen naar multifile datasets, gepartitioneerde layouts en databases
Data-pipelines schalen en optimaliseren met Polars

Hoofdstuk 3

Diagram van geneste data omgezet naar een tabel.

  • Werken met list- en struct‑kolommen voor geneste data
  • Categorische en enum‑types gebruiken voor herhaalde strings
  • DataFrame‑grootte schatten en numerieke precisie afstemmen
Data-pipelines schalen en optimaliseren met Polars

Hoofdstuk 4

Afbeelding van een grote tabel die wordt gestreamd.

  • Richten op default-, streaming- en GPU‑execution engines
  • Resultaten in batches verwerken en outputs naar schijf schrijven
  • Polars‑queries testen voor robuuste, betrouwbare pipelines
Data-pipelines schalen en optimaliseren met Polars

Gefeliciteerd!

Data-pipelines schalen en optimaliseren met Polars

Preparing Video For Download...