Esecuzione efficiente delle query

Scalare e ottimizzare le pipeline di dati con Polars

Liam Brannigan

Data Scientist & Polars Contributor

Incontra il tuo istruttore

Liam Brannigan, Lead Data Scientist
Specialista in ML e Data Engineering
Contributor di Polars

Foto di Liam Brannigan - l'istruttore del corso

Dal laptop al cloud

Pipeline Polars che scala dal laptop al cloud

Questo corso fa per te?

Pagine del corso su Polars

Creare una query lazy con scan_csv
Scrivere espressioni con filter, select e group_by

Capitolo 1 - ottimizzazione

Ottimizzazione delle query

Capitolo 1 - ottimizzazione

Ottimizzazione delle query

Capitolo 2 - I/O efficiente

Immagine di Polars che importa più tipi di file

Capitolo 3 - tipi più ricchi

Diagramma di dati annidati trasformati in tabella.

Capitolo 4 - scalare le pipeline

Immagine di una grande tabella in streaming.

Dataset di richieste di Chicago

Il team di data analytics del sindaco di Chicago

Ispezionare il dataset

requests = pl.scan_csv("311_Service_Requests.csv",try_parse_dates=True)

Un dataset enorme che registra ogni richiesta di servizio dei cittadini di Chicago

Ispezionare il dataset

requests.collect()

Ispezionare il dataset

requests.collect().head(5)

shape: (5, 39)
| TYPE                          | STATUS    | DEPARTMENT     | CREATED_DATE        | ... |
| ---                           | ---       | ---            | ---                 | --- |
| str                           | str       | str            | str                 | ... |
|-------------------------------|-----------|----------------|---------------------|-----|
| Pothole in Street Complaint   | Completed | Transportation | 2019-12-16T10:09:08 | ... |
| Tree Trim Request             | Cancelled | Sanitation     | 2019-09-18T01:05:08 | ... |
| Garbage Cart Maintenance      | Completed | Sanitation     | 2021-01-24T09:14:58 | ... |
| Pothole in Street Complaint   | Completed | Transportation | 2019-03-21T10:41:01 | ... |
| Recycling Pick Up             | Completed | Sanitation     | 2021-02-16T08:28:59 | ... |

Limitare le righe elaborate

requests.head(5)

Limitare le righe elaborate

requests.head(5).collect()

shape: (5, 39)
| TYPE                            | STATUS    | DEPARTMENT     | CREATED_DATE        | ... |
| ---                             | ---       | ---            | ---                 | --- |
| str                             | str       | str            | str                 | ... |
|---------------------------------|-----------|----------------|---------------------|-----|
| Pothole in Street Complaint     | Completed | Transportation | 2019-12-16T10:09:08 | ... |
| Tree Trim Request | Completed | Sanitation     | 2019-09-18T01:05:08 | ... |
| Garbage Cart Maintenance        | Completed | Sanitation     | 2021-01-24T09:14:58 | ... |
| Pothole in Street Complaint     | Completed | Transportation | 2019-03-21T10:41:01 | ... |
| Recycling Pick Up               | Completed | Sanitation     | 2021-02-16T08:28:59 | ... |

Rimanda la chiamata a collect

Query di riepilogo per dipartimento

completed_by_department

Query di riepilogo per dipartimento

completed_by_department = requests

Query di riepilogo per dipartimento

completed_by_department = requests.filter(
    pl.col("STATUS") == "Completed"
)

Query di riepilogo per dipartimento

completed_by_department = requests.filter(
    pl.col("STATUS") == "Completed"
).collect()

Query di riepilogo per dipartimento

completed_by_department = requests.filter(
    pl.col("STATUS") == "Completed"
).collect().group_by("DEPARTMENT").len()

Query di riepilogo per dipartimento

completed_by_department = requests.filter(
    pl.col("STATUS") == "Completed"
).group_by("DEPARTMENT").len().collect()

shape: (10, 2)
| DEPARTMENT                     | len     |
| ---                            | ---     |
| str                            | u32     |
|-------------------------------|---------|
| 311 City Services              | 4859161 |
| Sanitation                     | 3406631 |
| Aviation                       | 2337842 |
| CDOT - Department of Transport | 1468240 |

Diramare le query

completed_by_department = requests.filter(
    pl.col("STATUS") == "Completed"
).group_by("DEPARTMENT").len()

completed_by_month = requests.filter(
    pl.col("STATUS") == "Completed"
).group_by("MONTH").len()

Come lavora oggi il team

completed_by_department.collect()
completed_by_month.collect()

Eseguire query diramate

results = pl.collect_all(


)

Eseguire query diramate

results = pl.collect_all([
    completed_by_department,
    completed_by_month,
])

Eseguire query diramate

results[0]  # completed_by_department
shape: (10, 2)
| DEPARTMENT           | len     |
| ---                  | ---     |
| str                  | u32     |
|----------------------|---------|
| 311 City Services    | 4859161 |
| Sanitation           | 3406631 |
| Aviation             | 2337842 |
| Transport            | 1468240 |

results[1]  # completed_by_month
shape: (12, 2)
| MONTH | len  |
| ---   | ---  |
| i64   | u32  |
|-------|------|
| 1     | 2506 |
| 2     | 4566 |
| 3     | 2739 |
| 4     | 2922 |

Ayo berlatih!

Scalare e ottimizzare le pipeline di dati con Polars