Використання типів даних Categorical та Enum

Масштабування й оптимізація конвеєрів даних з Polars

Liam Brannigan

Data Scientist & Polars Contributor

Кодування повторюваних рядків

Схема таблиці зі стовпцем назви події та стовпцем району з повторюваними рядками.

Кодування повторюваних рядків

Схема таблиці зі стовпцем назви події та стовпцем району, де рядки закодовано цілими числами.

Набір даних із повторюваними мітками

events = pl.read_parquet("chicago_events.parquet")

Набір даних із повторюваними мітками

events["area"].value_counts(sort=True).head(5)

shape: (5, 2)
| area          | count |
| ---           | ---   |
| str           | u32   |
|-------------  |-------|
| Loop          | 35982 |
| West Loop     | 27432 |
| Andersonville | 24660 |
| Downtown      | 24320 |
| Pullman       | 21985 |

Створення стовпця Categorical

events_cat = events.with_columns(
    pl.col("area").cast(pl.Categorical)
)

Створення стовпця Categorical

events_cat.select("event_title","area").head()

shape: (5, 2)
| event_title        | area          |
| ---                | ---           |
| str                | cat           |
|--------------------|---------------|
| Folk Festival      | Andersonville |
| Fireworks Night    | Downtown      |
| Greektown Market   | West Side     |
| Rail History Day   | Pullman       |
| Grant Park Concert | Loop          |

Створення стовпця Categorical

events_cat.select("event_title","area").with_columns(
    pl.col("area").to_physical().alias("physical")
).head(3)

shape: (3, 3)
| event_title        | area          | physical |
| ---                | ---           | ---      |
| str                | cat           | u32      |
|--------------------|---------------|----------|
| Folk Festival      | Andersonville | 0        |
| Fireworks Night    | Downtown      | 1        |
| Greektown Market   | West Side     | 2        |

Використання виразу для categorical

events_cat.select("event_title","area",
    pl.col("area").cat.starts_with("West").alias("westside"),
)

Використання виразу для categorical

events_cat.select("event_title","area",
    pl.col("area").cat.starts_with("West").alias("westside"),
).filter(pl.col("westside")).head(2)

shape: (2, 3)
| event_title             | area      | westside |
| ---                     | ---       | ---      |
| str                     | cat       | bool     |
|-------------------------|-----------|----------|
| Greektown Market        | West Side | true     |
| West Loop Chef Showcase | West Loop | true     |

Інші операції з рядками → змініть тип назад на String

Categorical та Enum

Схема таблиці зі стовпцем назви події та стовпцем району, де рядки закодовано цілими числами.

Створення стовпця Enum

area_enum = pl.Enum([
    "Albany Park",
    "Andersonville",
    ...
    "West Loop",
    "West Side",
    "Wicker Park",
])

Створення стовпця Enum

events_enum = events.with_columns(
    pl.col("area").cast(area_enum)
)

Створення стовпця Enum

events_enum.select("event_title", "area").head()

shape: (5, 2)
| event_title                  | area           |
| ---                          | ---            |
| str                          | enum           |
|------------------------------|----------------|
| Greektown Market             | West Side      |
| Folk Festival                | Andersonville  |
| West Loop Chef Showcase      | West Loop      |
| Rail History Day             | Pullman        |
| Fireworks Night              | Downtown       |

Перевірка типу Enum

events_enum.schema["area"]

Enum(categories=['Albany Park', 'Andersonville', 'Chinatown', 'Downtown', ...])

Enum для фіксованого словника
Categorical для змінного словника

Ефективність пам'яті для Enum

events_enum.select("event_title","area").with_columns(
    pl.col("area").to_physical().alias("physical")
).head(3)

shape: (3, 3)
| event_title        | area          | physical |
| ---                | ---           | ---      |
| str                | enum          | u8       |
|--------------------|---------------|----------|
| Folk Festival      | Andersonville | 1        |
| Fireworks Night    | Downtown      | 3        |
| Greektown Market   | West Side     | 16       |

Давайте потренуємось!

Масштабування й оптимізація конвеєрів даних з Polars