Dùng kiểu dữ liệu Categorical và Enum

Mở rộng và tối ưu hóa pipeline dữ liệu với Polars

Liam Brannigan

Data Scientist & Polars Contributor

Mã hóa chuỗi lặp lại

Sơ đồ bảng với cột tiêu đề sự kiện và cột khu vực có chuỗi lặp lại.

Mã hóa chuỗi lặp lại

Sơ đồ bảng với cột tiêu đề sự kiện và cột khu vực, trong đó chuỗi được mã hóa bằng số nguyên.

Tập dữ liệu có nhãn lặp lại

events = pl.read_parquet("chicago_events.parquet")

Tập dữ liệu có nhãn lặp lại

events["area"].value_counts(sort=True).head(5)

shape: (5, 2)
| area          | count |
| ---           | ---   |
| str           | u32   |
|-------------  |-------|
| Loop          | 35982 |
| West Loop     | 27432 |
| Andersonville | 24660 |
| Downtown      | 24320 |
| Pullman       | 21985 |

Tạo cột Categorical

events_cat = events.with_columns(
    pl.col("area").cast(pl.Categorical)
)

Tạo cột Categorical

events_cat.select("event_title","area").head()

shape: (5, 2)
| event_title        | area          |
| ---                | ---           |
| str                | cat           |
|--------------------|---------------|
| Folk Festival      | Andersonville |
| Fireworks Night    | Downtown      |
| Greektown Market   | West Side     |
| Rail History Day   | Pullman       |
| Grant Park Concert | Loop          |

Tạo cột Categorical

events_cat.select("event_title","area").with_columns(
    pl.col("area").to_physical().alias("physical")
).head(3)

shape: (3, 3)
| event_title        | area          | physical |
| ---                | ---           | ---      |
| str                | cat           | u32      |
|--------------------|---------------|----------|
| Folk Festival      | Andersonville | 0        |
| Fireworks Night    | Downtown      | 1        |
| Greektown Market   | West Side     | 2        |

Dùng biểu thức cho Categorical

events_cat.select("event_title","area",
    pl.col("area").cat.starts_with("West").alias("westside"),
)

Dùng biểu thức cho Categorical

events_cat.select("event_title","area",
    pl.col("area").cat.starts_with("West").alias("westside"),
).filter(pl.col("westside")).head(2)

shape: (2, 3)
| event_title             | area      | westside |
| ---                     | ---       | ---      |
| str                     | cat       | bool     |
|-------------------------|-----------|----------|
| Greektown Market        | West Side | true     |
| West Loop Chef Showcase | West Loop | true     |

Các thao tác chuỗi khác → ép về String

Categorical và Enum

Sơ đồ bảng với cột tiêu đề sự kiện và cột khu vực, trong đó chuỗi được mã hóa bằng số nguyên.

Tạo cột Enum

area_enum = pl.Enum([
    "Albany Park",
    "Andersonville",
    ...
    "West Loop",
    "West Side",
    "Wicker Park",
])

Tạo cột Enum

events_enum = events.with_columns(
    pl.col("area").cast(area_enum)
)

Tạo cột Enum

events_enum.select("event_title", "area").head()

shape: (5, 2)
| event_title                  | area           |
| ---                          | ---            |
| str                          | enum           |
|------------------------------|----------------|
| Greektown Market             | West Side      |
| Folk Festival                | Andersonville  |
| West Loop Chef Showcase      | West Loop      |
| Rail History Day             | Pullman        |
| Fireworks Night              | Downtown       |

Kiểm tra dtype Enum

events_enum.schema["area"]

Enum(categories=['Albany Park', 'Andersonville', 'Chinatown', 'Downtown', ...])

Enum cho từ vựng cố định
Categorical cho từ vựng thay đổi

Hiệu quả bộ nhớ của Enum

events_enum.select("event_title","area").with_columns(
    pl.col("area").to_physical().alias("physical")
).head(3)

shape: (3, 3)
| event_title        | area          | physical |
| ---                | ---           | ---      |
| str                | enum          | u8       |
|--------------------|---------------|----------|
| Folk Festival      | Andersonville | 1        |
| Fireworks Night    | Downtown      | 3        |
| Greektown Market   | West Side     | 16       |

¡Vamos a practicar!

Mở rộng và tối ưu hóa pipeline dữ liệu với Polars