Tối ưu hóa và kế hoạch truy vấn

Mở rộng và tối ưu hóa pipeline dữ liệu với Polars

Liam Brannigan

Data Scientist & Polars Contributor

Giới thiệu tối ưu truy vấn

Hình bảng với các hàng và cột

Giới thiệu tối ưu truy vấn

Hình bảng với các hàng và cột

Giới thiệu tối ưu truy vấn

Hình các thao tác chạy tuần tự

Giới thiệu tối ưu truy vấn

Hình các thao tác chạy song song

Giới thiệu tối ưu truy vấn

Pipeline với thao tác trùng lặp được thực hiện hai lần

Giới thiệu tối ưu truy vấn

Pipeline với thao tác trùng lặp được thực hiện hai lần

Loại yêu cầu nhiều nhất theo phòng ban

department_request_types = (
    requests





)

Loại yêu cầu nhiều nhất theo phòng ban

department_request_types = (
    requests
    .filter(pl.col("STATUS") == "Completed")




)

Loại yêu cầu nhiều nhất theo phòng ban

department_request_types = (
    requests
    .filter(pl.col("STATUS") == "Completed")
    .group_by("DEPARTMENT")



)

Loại yêu cầu nhiều nhất theo phòng ban

department_request_types = (
    requests    
    .filter(pl.col("STATUS") == "Completed")
    .group_by("DEPARTMENT")
    .agg(pl.col("TYPE").n_unique().alias("n_request_types"))


)

Loại yêu cầu nhiều nhất theo phòng ban

department_request_types = (
    requests
    .filter(pl.col("STATUS") == "Completed")
    .group_by("DEPARTMENT")
    .agg(pl.col("TYPE").n_unique().alias("n_request_types"))
    .sort("n_request_types", descending=True)
    .head(5)
)

Kế hoạch "ngây thơ"

Kế hoạch chưa tối ưu

print(department_request_types)

Kế hoạch chưa tối ưu

print(department_request_types)








        Csv SCAN [311_Service_Requests.csv]
        PROJECT */39 COLUMNS

Kế hoạch chưa tối ưu

print(department_request_types)






      FILTER [(col("STATUS")) == ("Completed")]
      FROM
        Csv SCAN [311_Service_Requests.csv]
        PROJECT */39 COLUMNS

Kế hoạch chưa tối ưu

print(department_request_types)



    AGGREGATE[maintain_order: false]
      [col("TYPE").n_unique().alias("n_request_types")] BY [col("DEPARTMENT")]
      FROM
      FILTER [(col("STATUS")) == ("Completed")]
      FROM
        Csv SCAN [311_Service_Requests.csv]
        PROJECT */39 COLUMNS

Kế hoạch chưa tối ưu

print(department_request_types)

SLICE[offset: 0, len: 5]
  SORT BY [descending: [true]] [col("n_request_types")]
    AGGREGATE[maintain_order: false]
      [col("TYPE").n_unique().alias("n_request_types")] BY [col("DEPARTMENT")]
      FROM
      FILTER [(col("STATUS")) == ("Completed")]
      FROM
        Csv SCAN [311_Service_Requests.csv]
        PROJECT */39 COLUMNS

Kế hoạch đã tối ưu

print(department_request_types.explain())

Kế hoạch đã tối ưu







        Csv SCAN [311_Service_Requests.csv]
        PROJECT 3/39 COLUMNS
        SELECTION: [(col("STATUS")) == ("Completed")]

Kế hoạch đã tối ưu






      simple pi 2/2 ["TYPE", "DEPARTMENT"]
        Csv SCAN [311_Service_Requests.csv]
        PROJECT 3/39 COLUMNS
        SELECTION: [(col("STATUS")) == ("Completed")]

Kế hoạch đã tối ưu



    AGGREGATE[maintain_order: false]
      [col("TYPE").n_unique().alias("n_request_types")] BY [col("DEPARTMENT")]
      FROM
      simple pi 2/2 ["TYPE", "DEPARTMENT"]
        Csv SCAN [311_Service_Requests.csv]
        PROJECT 3/39 COLUMNS
        SELECTION: [(col("STATUS")) == ("Completed")]

Kế hoạch đã tối ưu

SORT BY [slice: (0, 10, ...), descending: [true]] [col("n_request_types")]
  FILTER col("n_request_types").dynamic_predicate() FROM
    AGGREGATE[maintain_order: false]
      [col("TYPE").n_unique().alias("n_request_types")] BY [col("DEPARTMENT")]
      FROM
      simple pi 2/2 ["TYPE", "DEPARTMENT"]
        Csv SCAN [311_Service_Requests.csv]
        PROJECT 3/39 COLUMNS
        SELECTION: [(col("STATUS")) == ("Completed")]

Lấy top 10 hàng theo n_request_types
Loại bỏ phần còn lại
Sắp xếp 10 hàng

Kế hoạch tối ưu dạng đồ thị

print(department_request_types.show_graph())

Dạng đồ thị của kế hoạch tối ưu hiển thị quét CSV với tối ưu hóa.

Tối ưu hóa thêm

(
    requests








)

Tối ưu hóa thêm

(
    requests
    .filter(pl.col("STATUS") == "Completed")
    .filter(pl.col("DEPARTMENT") == "Sanitation")






)

Tối ưu hóa thêm

(
    requests
    .filter(pl.col("STATUS") == "Completed")
    .filter(pl.col("DEPARTMENT") == "Sanitation")
    .with_columns(
        pl.col("TYPE").str.to_lowercase().alias("type_lower")
    )
    .with_columns(
        pl.col("STATUS").str.to_lowercase().alias("status_lower")
    )
)

Tối ưu hóa thêm



  Csv SCAN [311_Service_Requests.csv]
  PROJECT */39 COLUMNS
  SELECTION: [([(col("DEPARTMENT")) == ("Sanitation")]) & ([(col("STATUS")) == ("Completed")])]

Gộp điều kiện AND

Tối ưu hóa thêm

 WITH_COLUMNS:
 [col("TYPE").str.to_lowercase().alias("type_lower"), col("STATUS").str.to_lowercase().alias("status_lower")]
  Csv SCAN [311_Service_Requests.csv]
  PROJECT */39 COLUMNS
  SELECTION: [([(col("DEPARTMENT")) == ("Sanitation")]) & ([(col("STATUS")) == ("Completed")])]

Gộp điều kiện AND
Gom cụm các biểu thức WITH_COLUMNS

¡Vamos a practicar!

Mở rộng và tối ưu hóa pipeline dữ liệu với Polars