Optimizare și planuri de interogare

Scalarea și optimizarea pipeline-urilor de date cu Polars

Liam Brannigan

Data Scientist & Polars Contributor

Introducere în optimizarea interogărilor

Imagine a unui tabel cu rânduri și coloane

Introducere în optimizarea interogărilor

Imagine a unui tabel cu rânduri și coloane

Introducere în optimizarea interogărilor

Imagine a operațiilor rulate serial

Introducere în optimizarea interogărilor

Imagine a operațiilor rulate în paralel

Introducere în optimizarea interogărilor

Pipeline cu operații duplicate efectuate de două ori

Introducere în optimizarea interogărilor

Pipeline cu operații duplicate efectuate de două ori

Cele mai frecvente tipuri de solicitări pe departament

department_request_types = (
    requests





)

Cele mai frecvente tipuri de solicitări pe departament

department_request_types = (
    requests
    .filter(pl.col("STATUS") == "Completed")




)

Cele mai frecvente tipuri de solicitări pe departament

department_request_types = (
    requests
    .filter(pl.col("STATUS") == "Completed")
    .group_by("DEPARTMENT")



)

Cele mai frecvente tipuri de solicitări pe departament

department_request_types = (
    requests    
    .filter(pl.col("STATUS") == "Completed")
    .group_by("DEPARTMENT")
    .agg(pl.col("TYPE").n_unique().alias("n_request_types"))


)

Cele mai frecvente tipuri de solicitări pe departament

department_request_types = (
    requests
    .filter(pl.col("STATUS") == "Completed")
    .group_by("DEPARTMENT")
    .agg(pl.col("TYPE").n_unique().alias("n_request_types"))
    .sort("n_request_types", descending=True)
    .head(5)
)

Plan neoptimizat

Plan neoptimizat

print(department_request_types)

Plan neoptimizat

print(department_request_types)








        Csv SCAN [311_Service_Requests.csv]
        PROJECT */39 COLUMNS

Plan neoptimizat

print(department_request_types)






      FILTER [(col("STATUS")) == ("Completed")]
      FROM
        Csv SCAN [311_Service_Requests.csv]
        PROJECT */39 COLUMNS

Plan neoptimizat

print(department_request_types)



    AGGREGATE[maintain_order: false]
      [col("TYPE").n_unique().alias("n_request_types")] BY [col("DEPARTMENT")]
      FROM
      FILTER [(col("STATUS")) == ("Completed")]
      FROM
        Csv SCAN [311_Service_Requests.csv]
        PROJECT */39 COLUMNS

Plan neoptimizat

print(department_request_types)

SLICE[offset: 0, len: 5]
  SORT BY [descending: [true]] [col("n_request_types")]
    AGGREGATE[maintain_order: false]
      [col("TYPE").n_unique().alias("n_request_types")] BY [col("DEPARTMENT")]
      FROM
      FILTER [(col("STATUS")) == ("Completed")]
      FROM
        Csv SCAN [311_Service_Requests.csv]
        PROJECT */39 COLUMNS

Plan optimizat

print(department_request_types.explain())

Plan optimizat







        Csv SCAN [311_Service_Requests.csv]
        PROJECT 3/39 COLUMNS
        SELECTION: [(col("STATUS")) == ("Completed")]

Plan optimizat






      simple pi 2/2 ["TYPE", "DEPARTMENT"]
        Csv SCAN [311_Service_Requests.csv]
        PROJECT 3/39 COLUMNS
        SELECTION: [(col("STATUS")) == ("Completed")]

Plan optimizat



    AGGREGATE[maintain_order: false]
      [col("TYPE").n_unique().alias("n_request_types")] BY [col("DEPARTMENT")]
      FROM
      simple pi 2/2 ["TYPE", "DEPARTMENT"]
        Csv SCAN [311_Service_Requests.csv]
        PROJECT 3/39 COLUMNS
        SELECTION: [(col("STATUS")) == ("Completed")]

Plan optimizat

SORT BY [slice: (0, 10, ...), descending: [true]] [col("n_request_types")]
  FILTER col("n_request_types").dynamic_predicate() FROM
    AGGREGATE[maintain_order: false]
      [col("TYPE").n_unique().alias("n_request_types")] BY [col("DEPARTMENT")]
      FROM
      simple pi 2/2 ["TYPE", "DEPARTMENT"]
        Csv SCAN [311_Service_Requests.csv]
        PROJECT 3/39 COLUMNS
        SELECTION: [(col("STATUS")) == ("Completed")]

Găsește primele 10 rânduri din n_request_types
Filtrează restul
Sortează cele 10 rânduri

Planul optimizat ca graf

print(department_request_types.show_graph())

Vedere grafică a planului optimizat cu scanare CSV și optimizări.

Optimizări suplimentare

(
    requests








)

Optimizări suplimentare

(
    requests
    .filter(pl.col("STATUS") == "Completed")
    .filter(pl.col("DEPARTMENT") == "Sanitation")






)

Optimizări suplimentare

(
    requests
    .filter(pl.col("STATUS") == "Completed")
    .filter(pl.col("DEPARTMENT") == "Sanitation")
    .with_columns(
        pl.col("TYPE").str.to_lowercase().alias("type_lower")
    )
    .with_columns(
        pl.col("STATUS").str.to_lowercase().alias("status_lower")
    )
)

Optimizări suplimentare



  Csv SCAN [311_Service_Requests.csv]
  PROJECT */39 COLUMNS
  SELECTION: [([(col("DEPARTMENT")) == ("Sanitation")]) & ([(col("STATUS")) == ("Completed")])]

Predicat AND combinat

Optimizări suplimentare

 WITH_COLUMNS:
 [col("TYPE").str.to_lowercase().alias("type_lower"), col("STATUS").str.to_lowercase().alias("status_lower")]
  Csv SCAN [311_Service_Requests.csv]
  PROJECT */39 COLUMNS
  SELECTION: [([(col("DEPARTMENT")) == ("Sanitation")]) & ([(col("STATUS")) == ("Completed")])]

Predicat AND combinat
Expresii WITH_COLUMNS grupate

Să exersăm!

Scalarea și optimizarea pipeline-urilor de date cu Polars