Фильтрация и агрегирование по временным периодам

Преобразование данных с помощью Polars

Liam Brannigan

Data Scientist & Polars Contributor

Поиск конкретных цен

Таблица данных временного ряда

Поиск конкретных цен

Таблица данных временного ряда с выделенной строкой

Поиск конкретных цен

Таблица данных временного ряда с тремя выделенными строками

Фильтрация с помощью pl.datetime

prices.filter(

)

Задача: найти цены в полдень 5 июля

Фильтрация с помощью pl.datetime

prices.filter(
    pl.col("time") == 
)

Фильтрация с помощью pl.datetime

prices.filter(
    pl.col("time") == pl.datetime(                                  )
)

Фильтрация с помощью pl.datetime

prices.filter(
    pl.col("time") == pl.datetime(year=2025, month=7, day=5, hour=12)
)

| time                | price | solar |
| ---                 | ---   | ---   |
| datetime[µs]        | f64   | f64   |
|---------------------|-------|-------|
| 2025-07-05 12:00:00 | 0.0   | 462.0 |

Фильтрация по дате с помощью pl.date

prices.filter(
    pl.col("time").dt.date() == 
)

Фильтрация по дате с помощью pl.date

prices.filter(
    pl.col("time").dt.date() == pl.date(year=2025, month=7, day=5)
)

Фильтрация по дате с помощью pl.date

prices.filter(
    pl.col("time").dt.date() == pl.date(year=2025, month=7, day=5)
)

| time                | price | solar |
| ---                 | ---   | ---   |
| datetime[µs]        | f64   | f64   |
|---------------------|-------|-------|
| 2025-07-05 00:00:00 | 34.2  | 0.0   |
| 2025-07-05 01:00:00 | 28.7  | 0.0   |
| ...                 | ...   | ...   |
| 2025-07-05 23:00:00 | 72.3  | 0.0   |

Фильтрация диапазона дат и времени

prices.filter(
    pl.col("time").is_between(


    )
)

Фильтрация диапазона дат и времени

prices.filter(
    pl.col("time").is_between(
        pl.datetime(2025, 7, 5, 8),
        pl.datetime(2025, 7, 5, 18)
    )
)

Фильтрация диапазона дат и времени

prices.filter(
    pl.col("time").is_between(
        pl.datetime(2025, 7, 5, 8),
        pl.datetime(2025, 7, 5, 18)
    )
)

| time                | price | solar |
| ---                 | ---   | ---   |
| datetime[µs]        | f64   | f64   |
|---------------------|-------|-------|
| 2025-07-05 08:00:00 | 1.7   | 180.0 |
| 2025-07-05 09:00:00 | 1.3   | 243.0 |
| ...                 | ...   | ...   |
| 2025-07-05 17:00:00 | 77.8  | 153.0 |
| 2025-07-05 18:00:00 | 87.3  | 119.0 |

Агрегирование по временным периодам

Строки для агрегирования по временным окнам

Агрегирование с помощью .group_by_dynamic()

Агрегирование по временным периодам

prices.sort("time")

Агрегирование по временным периодам

prices.sort("time").group_by_dynamic("time",          )

Агрегирование по временным периодам

prices.sort("time").group_by_dynamic("time", every="6h")

Агрегирование по 6-часовым окнам

prices.sort("time").group_by_dynamic("time", every="6h").agg(

)

Агрегирование по 6-часовым окнам

prices.sort("time").group_by_dynamic("time", every="6h").agg(
    pl.col("price").mean().alias("avg_price")
)

Агрегирование по 6-часовым окнам

prices.sort("time").group_by_dynamic("time", every="6h").agg(
    pl.col("price").mean().alias("avg_price")
)

| time                | avg_price |
| ---                 | ---       |
| datetime[µs]        | f64       |
|---------------------|-----------|
| 2025-07-05 00:00:00 | 28.4      |
| 2025-07-05 06:00:00 | 15.2      |
| 2025-07-05 12:00:00 | 42.1      |
| 2025-07-05 18:00:00 | 68.7      |

Агрегирование по дням

prices.sort("time").group_by_dynamic("time", every="1d").agg(

    pl.col("price").mean().alias("avg_price"),
    pl.col("solar").mean().alias("avg_solar")

)

Агрегирование по дням

prices.sort("time").group_by_dynamic("time", every="1d").agg(
    pl.col("price").mean().alias("avg_price"),
    pl.col("solar").mean().alias("avg_solar")
)

| time                | avg_price | avg_solar |
| ---                 | ---       | ---       |
| datetime[µs]        | f64       | f64       |
|---------------------|-----------|-----------|
| 2025-07-05 00:00:00 | 36.7      | 147.1     |
| 2025-07-06 00:00:00 | 42.1      | 133.8     |

Управление размером окна

every — как часто начинается новое окно
period — длина каждого окна
По умолчанию period равно every

Управление размером окна

prices.group_by_dynamic("time", every="2h")

Управление размером окна

Непересекающиеся 2-часовые окна

Управление размером окна

prices.group_by_dynamic("time", every="1h", period="2h")

Управление размером окна

Первое перекрывающееся окно, начинающееся в 10

Управление размером окна

Второе перекрывающееся окно, начинающееся в 11

Давайте потренируемся!

Преобразование данных с помощью Polars