Tổng hợp lăn và tích lũy

Biến đổi dữ liệu với Polars

Liam Brannigan

Data Scientist & Polars Contributor

Vì sao dùng thống kê lăn?

Biểu đồ đường giá điện

Vì sao dùng thống kê lăn?

Biểu đồ đường giá điện với thống kê lăn

Trung bình lăn trên một cột

prices.with_columns(

)

Trung bình lăn trên một cột

prices.with_columns(
    pl.col("price").rolling_mean(            )
)

Trung bình lăn trên một cột

prices.with_columns(
    pl.col("price").rolling_mean(window_size=3)
)

Trung bình lăn trên một cột

prices.with_columns(
    pl.col("price").rolling_mean(window_size=3).alias("smoothed")
)

Trung bình lăn trên một cột

prices.with_columns(
    pl.col("price").rolling_mean(window_size=3).alias("smoothed")
)

| time                | price | solar | smoothed |
| ---                 | ---   | ---   | ---      |
| datetime[µs]        | f64   | f64   | f64      |
|---------------------|-------|-------|----------|
| 2025-07-05 00:00:00 | 34.2  | 0.0   | null     |
| 2025-07-05 01:00:00 | 28.7  | 0.0   | null     |

Trung bình lăn trên một cột

prices.with_columns(
    pl.col("price").rolling_mean(window_size=3).alias("smoothed")
)

| time                | price | solar | smoothed |
| ---                 | ---   | ---   | ---      |
| datetime[µs]        | f64   | f64   | f64      |
|---------------------|-------|-------|----------|
| 2025-07-05 00:00:00 | 34.2  | 0.0   | null     |
| 2025-07-05 01:00:00 | 28.7  | 0.0   | null     |
| 2025-07-05 02:00:00 | 27.5  | 0.0   | 30.1     |

Căn giữa cửa sổ

prices.with_columns(
    pl.col("price").rolling_mean(window_size=3,            )
)

Căn giữa cửa sổ

prices.with_columns(
    pl.col("price").rolling_mean(window_size=3, center=True).alias("centered")
)

| time                | price | solar | centered |
| ---                 | ---   | ---   | ---      |
| datetime[µs]        | f64   | f64   | f64      |
|---------------------|-------|-------|----------|
| 2025-07-05 00:00:00 | 34.2  | 0.0   | null     |
| 2025-07-05 01:00:00 | 28.7  | 0.0   | 30.1     |
| 2025-07-05 02:00:00 | 27.5  | 0.0   | 27.1     |

Biểu thức lăn khác

.rolling_sum() - tổng lăn
.rolling_std() - độ lệch chuẩn lăn
.rolling_max() / .rolling_min()

Rolling trên DataFrame

prices.rolling(                                )

Rolling trên DataFrame

prices.rolling(index_column="time",            )

Rolling trên DataFrame

prices.rolling(index_column="time", period="3h")

Rolling trên DataFrame

prices.rolling(index_column="time", period="3h").agg(
    pl.all().mean()
)

Rolling trên DataFrame

prices.rolling(index_column="time", period="3h").agg(
    pl.all().mean()
)

| time                | price | solar  |
| ---                 | ---   | ---    |
| datetime[µs]        | f64   | f64    |
|---------------------|-------|------- |
| 2025-07-05 10:00:00 | 1.8   | 247.3  |
| 2025-07-05 11:00:00 | 1.4   | 347.7  |
| 2025-07-05 12:00:00 | 0.9   | 420.7  |

Vì sao dùng thống kê tích lũy?

Biểu đồ chuỗi thời gian công suất điện mặt trời

Nhiệm vụ: tính giá trị tích lũy

Vì sao dùng thống kê tích lũy?

Biểu đồ chuỗi thời gian công suất mặt trời với cực đại tích lũy của công suất

Thống kê tích lũy

prices.with_columns(
    pl.col("solar")
)

Thống kê tích lũy

prices.with_columns(
    pl.col("solar").cum_max()
)

Thống kê tích lũy

prices.with_columns(
    pl.col("solar").cum_max().alias("cumulative_solar")
)

Thống kê tích lũy

prices.with_columns(
    pl.col("solar").cum_max().alias("cumulative_solar")
)

| time                | price | solar | cumulative_solar |
| ---                 | ---   | ---   | ---              |
| datetime[µs]        | f64   | f64   | f64              |
|---------------------|-------|-------|------------------|
| ...                 | ...   | ...   | ...              |
| 2025-07-05 10:00:00 | 2.3   | 419.0 | 419.0            |
| 2025-07-05 11:00:00 | 0.5   | 481.0 | 481.0            |
| 2025-07-05 12:00:00 | 0.0   | 462.0 | 481.0            |
| ...                 | ...   | ...   | ...              |

Tổng tích lũy cho số liệu chạy dồn

prices.with_columns(
    pl.col("solar").cum_sum().alias("total_energy")
)

| time                | price | solar | total_energy |
| ---                 | ---   | ---   | ---          |
| datetime[µs]        | f64   | f64   | f64          |
|---------------------|-------|-------|--------------|
| 2025-07-05 06:00:00 | 22.1  | 62.0  | 62.0         |
| 2025-07-05 07:00:00 | 4.5   | 100.0 | 162.0        |
| 2025-07-05 08:00:00 | 1.7   | 180.0 | 342.0        |

Ayo berlatih!

Biến đổi dữ liệu với Polars