Ottimizzazione e piani di query

Scalare e ottimizzare le pipeline di dati con Polars

Liam Brannigan

Data Scientist & Polars Contributor

Introduzione all'ottimizzazione delle query

Immagine di una tabella con righe e colonne

Introduzione all'ottimizzazione delle query

Immagine di una tabella con righe e colonne

Introduzione all'ottimizzazione delle query

Immagine di operazioni eseguite in serie

Introduzione all'ottimizzazione delle query

Immagine di operazioni eseguite in parallelo

Introduzione all'ottimizzazione delle query

Pipeline con operazioni duplicate eseguite due volte

Introduzione all'ottimizzazione delle query

Pipeline con operazioni duplicate eseguite due volte

Tipi di richieste per dipartimento: i più frequenti

department_request_types = (
    requests





)

Tipi di richieste per dipartimento: i più frequenti

department_request_types = (
    requests
    .filter(pl.col("STATUS") == "Completed")




)

Tipi di richieste per dipartimento: i più frequenti

department_request_types = (
    requests
    .filter(pl.col("STATUS") == "Completed")
    .group_by("DEPARTMENT")



)

Tipi di richieste per dipartimento: i più frequenti

department_request_types = (
    requests    
    .filter(pl.col("STATUS") == "Completed")
    .group_by("DEPARTMENT")
    .agg(pl.col("TYPE").n_unique().alias("n_request_types"))


)

Tipi di richieste per dipartimento: i più frequenti

department_request_types = (
    requests
    .filter(pl.col("STATUS") == "Completed")
    .group_by("DEPARTMENT")
    .agg(pl.col("TYPE").n_unique().alias("n_request_types"))
    .sort("n_request_types", descending=True)
    .head(5)
)

Piano ingenuo

Piano non ottimizzato

print(department_request_types)

Piano non ottimizzato

print(department_request_types)








        Csv SCAN [311_Service_Requests.csv]
        PROJECT */39 COLUMNS

Piano non ottimizzato

print(department_request_types)






      FILTER [(col("STATUS")) == ("Completed")]
      FROM
        Csv SCAN [311_Service_Requests.csv]
        PROJECT */39 COLUMNS

Piano non ottimizzato

print(department_request_types)



    AGGREGATE[maintain_order: false]
      [col("TYPE").n_unique().alias("n_request_types")] BY [col("DEPARTMENT")]
      FROM
      FILTER [(col("STATUS")) == ("Completed")]
      FROM
        Csv SCAN [311_Service_Requests.csv]
        PROJECT */39 COLUMNS

Piano non ottimizzato

print(department_request_types)

SLICE[offset: 0, len: 5]
  SORT BY [descending: [true]] [col("n_request_types")]
    AGGREGATE[maintain_order: false]
      [col("TYPE").n_unique().alias("n_request_types")] BY [col("DEPARTMENT")]
      FROM
      FILTER [(col("STATUS")) == ("Completed")]
      FROM
        Csv SCAN [311_Service_Requests.csv]
        PROJECT */39 COLUMNS

Piano ottimizzato

print(department_request_types.explain())

Piano ottimizzato







        Csv SCAN [311_Service_Requests.csv]
        PROJECT 3/39 COLUMNS
        SELECTION: [(col("STATUS")) == ("Completed")]

Piano ottimizzato






      simple pi 2/2 ["TYPE", "DEPARTMENT"]
        Csv SCAN [311_Service_Requests.csv]
        PROJECT 3/39 COLUMNS
        SELECTION: [(col("STATUS")) == ("Completed")]

Piano ottimizzato



    AGGREGATE[maintain_order: false]
      [col("TYPE").n_unique().alias("n_request_types")] BY [col("DEPARTMENT")]
      FROM
      simple pi 2/2 ["TYPE", "DEPARTMENT"]
        Csv SCAN [311_Service_Requests.csv]
        PROJECT 3/39 COLUMNS
        SELECTION: [(col("STATUS")) == ("Completed")]

Piano ottimizzato

SORT BY [slice: (0, 10, ...), descending: [true]] [col("n_request_types")]
  FILTER col("n_request_types").dynamic_predicate() FROM
    AGGREGATE[maintain_order: false]
      [col("TYPE").n_unique().alias("n_request_types")] BY [col("DEPARTMENT")]
      FROM
      simple pi 2/2 ["TYPE", "DEPARTMENT"]
        Csv SCAN [311_Service_Requests.csv]
        PROJECT 3/39 COLUMNS
        SELECTION: [(col("STATUS")) == ("Completed")]

Trova le prime 10 righe in n_request_types
Filtra le altre
Ordina le 10 righe

Piano ottimizzato come grafo

print(department_request_types.show_graph())

Vista grafica del piano ottimizzato che mostra la scansione CSV con ottimizzazioni.

Ulteriori ottimizzazioni

(
    requests








)

Ulteriori ottimizzazioni

(
    requests
    .filter(pl.col("STATUS") == "Completed")
    .filter(pl.col("DEPARTMENT") == "Sanitation")






)

Ulteriori ottimizzazioni

(
    requests
    .filter(pl.col("STATUS") == "Completed")
    .filter(pl.col("DEPARTMENT") == "Sanitation")
    .with_columns(
        pl.col("TYPE").str.to_lowercase().alias("type_lower")
    )
    .with_columns(
        pl.col("STATUS").str.to_lowercase().alias("status_lower")
    )
)

Ulteriori ottimizzazioni



  Csv SCAN [311_Service_Requests.csv]
  PROJECT */39 COLUMNS
  SELECTION: [([(col("DEPARTMENT")) == ("Sanitation")]) & ([(col("STATUS")) == ("Completed")])]

Predicato AND combinato

Ulteriori ottimizzazioni

 WITH_COLUMNS:
 [col("TYPE").str.to_lowercase().alias("type_lower"), col("STATUS").str.to_lowercase().alias("status_lower")]
  Csv SCAN [311_Service_Requests.csv]
  PROJECT */39 COLUMNS
  SELECTION: [([(col("DEPARTMENT")) == ("Sanitation")]) & ([(col("STATUS")) == ("Completed")])]

Predicato AND combinato
Espressioni WITH_COLUMNS raggruppate

Passiamo alla pratica !

Scalare e ottimizzare le pipeline di dati con Polars