Présentation du mode paresseux

Introduction à Polars

Liam Brannigan

Data Scientist & Polars Contributor

Mode immédiat

(
    pl.read_csv("vacation_rentals.csv")


)
  • Charge le CSV dans un DataFrame

Mode paresseux

Introduction à Polars

Mode immédiat

(
    pl.read_csv("vacation_rentals.csv")


)
  • Charge le CSV dans un DataFrame

Mode paresseux

(
    pl.scan_csv("vacation_rentals.csv")


)
  • Démarre le plan de requête
  • Lit les premières lignes du CSV
Introduction à Polars

Mode immédiat

(
    pl.read_csv("vacation_rentals.csv")


)

| name     | type    | ... | beach |
| ---      | ---     | ... | ---   |
| str      | str     | ... | bool  |
|----------|---------| ... |-------|
| Waves    | Cottage | ... | false |
| Seashell | Cottage | ... | true  |
| ...      | ...     | ... | ...   |

Mode paresseux

(
    pl.scan_csv("vacation_rentals.csv")


)

naive plan: 

Csv SCAN [vacation_rentals.csv]
PROJECT */8 COLUMNS
Introduction à Polars

Mode immédiat

(
    pl.read_csv("vacation_rentals.csv")
    .select("name","price")

)

Mode paresseux

Introduction à Polars

Mode immédiat

(
    pl.read_csv("vacation_rentals.csv")
    .select("name","price")

)

Mode paresseux

(
    pl.scan_csv("vacation_rentals.csv")
    .select("name","price")

)
  • Met à jour le plan de requête
  • Optimise le plan de requête
Introduction à Polars

Plan de requête optimisé

print(
    pl.scan_csv("vacation_rentals.csv")
    .select("name","price")
    .explain()
)

Csv SCAN [vacation_rentals.csv]

PROJECT 2/8 COLUMNS
  • Optimisation : projection pushdown
Introduction à Polars

Exécuter une requête paresseuse

(
    pl.scan_csv("vacation_rentals.csv")
    .select("name","price")
    .collect()
)

shape: (49, 2)
| name      | price |
| ---       | ---   |
| str       | i64   |
|-----------|-------|
| Waves     | 540   |
| Seashells | 540   |
| ...       | ...   |
Introduction à Polars

Mode immédiat vs mode paresseux

(
    pl.read_csv("vacation_rentals.csv")
    .select("name","price")

)
  • Ligne par ligne
(
    pl.scan_csv("vacation_rentals.csv")
    .select("name","price")
    .collect()
)
  • Requête complète
Introduction à Polars

Mode immédiat vs mode paresseux

Un ours Polars qui court et un ours Polars qui dort

  • étape par étape : mode immédiat
  • débogage : mode immédiat
  • performance optimisée : mode paresseux
Introduction à Polars

Passons à la pratique !

Introduction à Polars

Preparing Video For Download...