Optimalisatie en queryplannen

Data-pipelines schalen en optimaliseren met Polars

Liam Brannigan

Data Scientist & Polars Contributor

Introductie van queryoptimalisatie

Afbeelding van een tabel met rijen en kolommen

Introductie van queryoptimalisatie

Afbeelding van een tabel met rijen en kolommen

Introductie van queryoptimalisatie

Afbeelding van bewerkingen die serieel worden uitgevoerd

Introductie van queryoptimalisatie

Afbeelding van bewerkingen die parallel worden uitgevoerd

Introductie van queryoptimalisatie

Pipeline met dubbele bewerkingen die twee keer worden uitgevoerd

Introductie van queryoptimalisatie

Pipeline met dubbele bewerkingen die twee keer worden uitgevoerd

Meeste verzoektypen per afdeling

department_request_types = (
    requests





)

Meeste verzoektypen per afdeling

department_request_types = (
    requests
    .filter(pl.col("STATUS") == "Completed")




)

Meeste verzoektypen per afdeling

department_request_types = (
    requests
    .filter(pl.col("STATUS") == "Completed")
    .group_by("DEPARTMENT")



)

Meeste verzoektypen per afdeling

department_request_types = (
    requests    
    .filter(pl.col("STATUS") == "Completed")
    .group_by("DEPARTMENT")
    .agg(pl.col("TYPE").n_unique().alias("n_request_types"))


)

Meeste verzoektypen per afdeling

department_request_types = (
    requests
    .filter(pl.col("STATUS") == "Completed")
    .group_by("DEPARTMENT")
    .agg(pl.col("TYPE").n_unique().alias("n_request_types"))
    .sort("n_request_types", descending=True)
    .head(5)
)

Naïef plan

Niet-geoptimaliseerd plan

print(department_request_types)

Niet-geoptimaliseerd plan

print(department_request_types)








        Csv SCAN [311_Service_Requests.csv]
        PROJECT */39 COLUMNS

Niet-geoptimaliseerd plan

print(department_request_types)






      FILTER [(col("STATUS")) == ("Completed")]
      FROM
        Csv SCAN [311_Service_Requests.csv]
        PROJECT */39 COLUMNS

Niet-geoptimaliseerd plan

print(department_request_types)



    AGGREGATE[maintain_order: false]
      [col("TYPE").n_unique().alias("n_request_types")] BY [col("DEPARTMENT")]
      FROM
      FILTER [(col("STATUS")) == ("Completed")]
      FROM
        Csv SCAN [311_Service_Requests.csv]
        PROJECT */39 COLUMNS

Niet-geoptimaliseerd plan

print(department_request_types)

SLICE[offset: 0, len: 5]
  SORT BY [descending: [true]] [col("n_request_types")]
    AGGREGATE[maintain_order: false]
      [col("TYPE").n_unique().alias("n_request_types")] BY [col("DEPARTMENT")]
      FROM
      FILTER [(col("STATUS")) == ("Completed")]
      FROM
        Csv SCAN [311_Service_Requests.csv]
        PROJECT */39 COLUMNS

Geoptimaliseerd plan

print(department_request_types.explain())

Geoptimaliseerd plan







        Csv SCAN [311_Service_Requests.csv]
        PROJECT 3/39 COLUMNS
        SELECTION: [(col("STATUS")) == ("Completed")]

Geoptimaliseerd plan






      simple pi 2/2 ["TYPE", "DEPARTMENT"]
        Csv SCAN [311_Service_Requests.csv]
        PROJECT 3/39 COLUMNS
        SELECTION: [(col("STATUS")) == ("Completed")]

Geoptimaliseerd plan



    AGGREGATE[maintain_order: false]
      [col("TYPE").n_unique().alias("n_request_types")] BY [col("DEPARTMENT")]
      FROM
      simple pi 2/2 ["TYPE", "DEPARTMENT"]
        Csv SCAN [311_Service_Requests.csv]
        PROJECT 3/39 COLUMNS
        SELECTION: [(col("STATUS")) == ("Completed")]

Geoptimaliseerd plan

SORT BY [slice: (0, 10, ...), descending: [true]] [col("n_request_types")]
  FILTER col("n_request_types").dynamic_predicate() FROM
    AGGREGATE[maintain_order: false]
      [col("TYPE").n_unique().alias("n_request_types")] BY [col("DEPARTMENT")]
      FROM
      simple pi 2/2 ["TYPE", "DEPARTMENT"]
        Csv SCAN [311_Service_Requests.csv]
        PROJECT 3/39 COLUMNS
        SELECTION: [(col("STATUS")) == ("Completed")]

Vind de top 10 rijen in n_request_types
Filter de rest weg
Sorteer de 10 rijen

Geoptimaliseerd plan als grafiek

print(department_request_types.show_graph())

Grafiekweergave van het geoptimaliseerde plan met CSV-scan en optimalisaties.

Verdere optimalisaties

(
    requests








)

Verdere optimalisaties

(
    requests
    .filter(pl.col("STATUS") == "Completed")
    .filter(pl.col("DEPARTMENT") == "Sanitation")






)

Verdere optimalisaties

(
    requests
    .filter(pl.col("STATUS") == "Completed")
    .filter(pl.col("DEPARTMENT") == "Sanitation")
    .with_columns(
        pl.col("TYPE").str.to_lowercase().alias("type_lower")
    )
    .with_columns(
        pl.col("STATUS").str.to_lowercase().alias("status_lower")
    )
)

Verdere optimalisaties



  Csv SCAN [311_Service_Requests.csv]
  PROJECT */39 COLUMNS
  SELECTION: [([(col("DEPARTMENT")) == ("Sanitation")]) & ([(col("STATUS")) == ("Completed")])]

Gecombineerde AND-predicaat

Verdere optimalisaties

 WITH_COLUMNS:
 [col("TYPE").str.to_lowercase().alias("type_lower"), col("STATUS").str.to_lowercase().alias("status_lower")]
  Csv SCAN [311_Service_Requests.csv]
  PROJECT */39 COLUMNS
  SELECTION: [([(col("DEPARTMENT")) == ("Sanitation")]) & ([(col("STATUS")) == ("Completed")])]

Gecombineerde AND-predicaat
Gebundelde WITH_COLUMNS-expressies

Laten we oefenen!

Data-pipelines schalen en optimaliseren met Polars