Agregações móveis e cumulativas

Transformação de Dados com Polars

Liam Brannigan

Data Scientist & Polars Contributor

Por que estatísticas móveis?

Gráfico de linhas dos preços de eletricidade

Por que estatísticas móveis?

Gráfico de linhas dos preços de eletricidade com estatísticas móveis

Média móvel em uma coluna

prices.with_columns(

)

Média móvel em uma coluna

prices.with_columns(
    pl.col("price").rolling_mean(            )
)

Média móvel em uma coluna

prices.with_columns(
    pl.col("price").rolling_mean(window_size=3)
)

Média móvel em uma coluna

prices.with_columns(
    pl.col("price").rolling_mean(window_size=3).alias("smoothed")
)

Média móvel em uma coluna

prices.with_columns(
    pl.col("price").rolling_mean(window_size=3).alias("smoothed")
)

| time                | price | solar | smoothed |
| ---                 | ---   | ---   | ---      |
| datetime[µs]        | f64   | f64   | f64      |
|---------------------|-------|-------|----------|
| 2025-07-05 00:00:00 | 34.2  | 0.0   | null     |
| 2025-07-05 01:00:00 | 28.7  | 0.0   | null     |

Média móvel em uma coluna

prices.with_columns(
    pl.col("price").rolling_mean(window_size=3).alias("smoothed")
)

| time                | price | solar | smoothed |
| ---                 | ---   | ---   | ---      |
| datetime[µs]        | f64   | f64   | f64      |
|---------------------|-------|-------|----------|
| 2025-07-05 00:00:00 | 34.2  | 0.0   | null     |
| 2025-07-05 01:00:00 | 28.7  | 0.0   | null     |
| 2025-07-05 02:00:00 | 27.5  | 0.0   | 30.1     |

Centralizando a janela

prices.with_columns(
    pl.col("price").rolling_mean(window_size=3,            )
)

Centralizando a janela

prices.with_columns(
    pl.col("price").rolling_mean(window_size=3, center=True).alias("centered")
)

| time                | price | solar | centered |
| ---                 | ---   | ---   | ---      |
| datetime[µs]        | f64   | f64   | f64      |
|---------------------|-------|-------|----------|
| 2025-07-05 00:00:00 | 34.2  | 0.0   | null     |
| 2025-07-05 01:00:00 | 28.7  | 0.0   | 30.1     |
| 2025-07-05 02:00:00 | 27.5  | 0.0   | 27.1     |

Outras expressões móveis

.rolling_sum() - soma móvel
.rolling_std() - desvio padrão móvel
.rolling_max() / .rolling_min()

Janela móvel no DataFrame

prices.rolling(                                )

Janela móvel no DataFrame

prices.rolling(index_column="time",            )

Janela móvel no DataFrame

prices.rolling(index_column="time", period="3h")

Janela móvel no DataFrame

prices.rolling(index_column="time", period="3h").agg(
    pl.all().mean()
)

Janela móvel no DataFrame

prices.rolling(index_column="time", period="3h").agg(
    pl.all().mean()
)

| time                | price | solar  |
| ---                 | ---   | ---    |
| datetime[µs]        | f64   | f64    |
|---------------------|-------|------- |
| 2025-07-05 10:00:00 | 1.8   | 247.3  |
| 2025-07-05 11:00:00 | 1.4   | 347.7  |
| 2025-07-05 12:00:00 | 0.9   | 420.7  |

Por que estatísticas cumulativas?

Gráfico temporal de energia solar

Tarefa: calcular valores cumulativos

Por que estatísticas cumulativas?

Gráfico temporal de energia solar com máximo cumulativo

Estatísticas cumulativas

prices.with_columns(
    pl.col("solar")
)

Estatísticas cumulativas

prices.with_columns(
    pl.col("solar").cum_max()
)

Estatísticas cumulativas

prices.with_columns(
    pl.col("solar").cum_max().alias("cumulative_solar")
)

Estatísticas cumulativas

prices.with_columns(
    pl.col("solar").cum_max().alias("cumulative_solar")
)

| time                | price | solar | cumulative_solar |
| ---                 | ---   | ---   | ---              |
| datetime[µs]        | f64   | f64   | f64              |
|---------------------|-------|-------|------------------|
| ...                 | ...   | ...   | ...              |
| 2025-07-05 10:00:00 | 2.3   | 419.0 | 419.0            |
| 2025-07-05 11:00:00 | 0.5   | 481.0 | 481.0            |
| 2025-07-05 12:00:00 | 0.0   | 462.0 | 481.0            |
| ...                 | ...   | ...   | ...              |

Soma cumulativa para totais contínuos

prices.with_columns(
    pl.col("solar").cum_sum().alias("total_energy")
)

| time                | price | solar | total_energy |
| ---                 | ---   | ---   | ---          |
| datetime[µs]        | f64   | f64   | f64          |
|---------------------|-------|-------|--------------|
| 2025-07-05 06:00:00 | 22.1  | 62.0  | 62.0         |
| 2025-07-05 07:00:00 | 4.5   | 100.0 | 162.0        |
| 2025-07-05 08:00:00 | 1.7   | 180.0 | 342.0        |

Vamos praticar!

Transformação de Dados com Polars