Exécution efficace des requêtes

Mise à l'échelle et optimisation des pipelines de données avec Polars

Liam Brannigan

Data Scientist & Polars Contributor

Faites connaissance avec votre instructeur

$$

$$

  • Liam Brannigan, scientifique des données principal
  • Spécialiste en Machine Learning et en ingénierie des données
  • Contributeur à Polars

Photo de Liam Brannigan, l'instructeur du cours

Mise à l'échelle et optimisation des pipelines de données avec Polars

Du portable au nuage

Pipeline Polars passant de l'ordinateur portable au nuage

Mise à l'échelle et optimisation des pipelines de données avec Polars

Ce cours est-il pour vous ?

Pages du cours Polars

  • Créer une requête paresseuse avec scan_csv
  • Écrire des expressions avec filter, select et group_by
Mise à l'échelle et optimisation des pipelines de données avec Polars

Chapitre 1 - optimisation

Optimisation de requêtes

Mise à l'échelle et optimisation des pipelines de données avec Polars

Chapitre 1 - optimisation

Optimisation de requêtes

Mise à l'échelle et optimisation des pipelines de données avec Polars

Chapitre 2 - E/S efficaces

Image de Polars ingérant plusieurs types de fichiers

Mise à l'échelle et optimisation des pipelines de données avec Polars

Chapitre 3 - types plus riches

Schéma de données imbriquées transformées en tableau.

Mise à l'échelle et optimisation des pipelines de données avec Polars

Chapitre 4 - mise à l'échelle des pipelines

Image d'un grand tableau diffusé en continu.

Mise à l'échelle et optimisation des pipelines de données avec Polars

Ensemble de données des requêtes de Chicago

L'équipe d'analyse de données du maire de Chicago

Mise à l'échelle et optimisation des pipelines de données avec Polars

Inspection de l'ensemble de données

requests = pl.scan_csv("311_Service_Requests.csv",try_parse_dates=True)

Un immense ensemble de données, consignant chaque demande de service des citoyennes et citoyens de Chicago

Mise à l'échelle et optimisation des pipelines de données avec Polars

Inspection de l'ensemble de données

requests.collect()
Mise à l'échelle et optimisation des pipelines de données avec Polars

Inspection de l'ensemble de données

requests.collect().head(5)

shape: (5, 39)
| TYPE                          | STATUS    | DEPARTMENT     | CREATED_DATE        | ... |
| ---                           | ---       | ---            | ---                 | --- |
| str                           | str       | str            | str                 | ... |
|-------------------------------|-----------|----------------|---------------------|-----|
| Pothole in Street Complaint   | Completed | Transportation | 2019-12-16T10:09:08 | ... |
| Tree Trim Request             | Cancelled | Sanitation     | 2019-09-18T01:05:08 | ... |
| Garbage Cart Maintenance      | Completed | Sanitation     | 2021-01-24T09:14:58 | ... |
| Pothole in Street Complaint   | Completed | Transportation | 2019-03-21T10:41:01 | ... |
| Recycling Pick Up             | Completed | Sanitation     | 2021-02-16T08:28:59 | ... |
Mise à l'échelle et optimisation des pipelines de données avec Polars

Limiter les lignes traitées

requests.head(5)
Mise à l'échelle et optimisation des pipelines de données avec Polars

Limiter les lignes traitées

requests.head(5).collect()

shape: (5, 39)
| TYPE                            | STATUS    | DEPARTMENT     | CREATED_DATE        | ... |
| ---                             | ---       | ---            | ---                 | --- |
| str                             | str       | str            | str                 | ... |
|---------------------------------|-----------|----------------|---------------------|-----|
| Pothole in Street Complaint     | Completed | Transportation | 2019-12-16T10:09:08 | ... |
| Tree Trim Request | Completed | Sanitation     | 2019-09-18T01:05:08 | ... |
| Garbage Cart Maintenance        | Completed | Sanitation     | 2021-01-24T09:14:58 | ... |
| Pothole in Street Complaint     | Completed | Transportation | 2019-03-21T10:41:01 | ... |
| Recycling Pick Up               | Completed | Sanitation     | 2021-02-16T08:28:59 | ... |
  • Reporter l'appel à collect
Mise à l'échelle et optimisation des pipelines de données avec Polars

Requête : résumé par service

completed_by_department
Mise à l'échelle et optimisation des pipelines de données avec Polars

Requête : résumé par service

completed_by_department = requests
Mise à l'échelle et optimisation des pipelines de données avec Polars

Requête : résumé par service

completed_by_department = requests.filter(
    pl.col("STATUS") == "Completed"
)
Mise à l'échelle et optimisation des pipelines de données avec Polars

Requête : résumé par service

completed_by_department = requests.filter(
    pl.col("STATUS") == "Completed"
).collect()
Mise à l'échelle et optimisation des pipelines de données avec Polars

Requête : résumé par service

completed_by_department = requests.filter(
    pl.col("STATUS") == "Completed"
).collect().group_by("DEPARTMENT").len()
Mise à l'échelle et optimisation des pipelines de données avec Polars

Requête : résumé par service

completed_by_department = requests.filter(
    pl.col("STATUS") == "Completed"
).group_by("DEPARTMENT").len().collect()

shape: (10, 2)
| DEPARTMENT                     | len     |
| ---                            | ---     |
| str                            | u32     |
|-------------------------------|---------|
| 311 City Services              | 4859161 |
| Sanitation                     | 3406631 |
| Aviation                       | 2337842 |
| CDOT - Department of Transport | 1468240 |
Mise à l'échelle et optimisation des pipelines de données avec Polars

Branches de requêtes divergentes

completed_by_department = requests.filter(
    pl.col("STATUS") == "Completed"
).group_by("DEPARTMENT").len()

completed_by_month = requests.filter(
    pl.col("STATUS") == "Completed"
).group_by("MONTH").len()
Mise à l'échelle et optimisation des pipelines de données avec Polars

Comment l'équipe s'y prend aujourd'hui

completed_by_department.collect()
completed_by_month.collect()
Mise à l'échelle et optimisation des pipelines de données avec Polars

Exécuter des requêtes divergentes

results = pl.collect_all(


)
Mise à l'échelle et optimisation des pipelines de données avec Polars

Exécuter des requêtes divergentes

results = pl.collect_all([
    completed_by_department,
    completed_by_month,
])
Mise à l'échelle et optimisation des pipelines de données avec Polars

Exécuter des requêtes divergentes

results[0]  # completed_by_department
shape: (10, 2)
| DEPARTMENT           | len     |
| ---                  | ---     |
| str                  | u32     |
|----------------------|---------|
| 311 City Services    | 4859161 |
| Sanitation           | 3406631 |
| Aviation             | 2337842 |
| Transport            | 1468240 |

results[1]  # completed_by_month
shape: (12, 2)
| MONTH | len  |
| ---   | ---  |
| i64   | u32  |
|-------|------|
| 1     | 2506 |
| 2     | 4566 |
| 3     | 2739 |
| 4     | 2922 |
Mise à l'échelle et optimisation des pipelines de données avec Polars

Passons à la pratique !

Mise à l'échelle et optimisation des pipelines de données avec Polars

Preparing Video For Download...