Разбор и обработка дат

Преобразование данных с помощью Polars

Liam Brannigan

Data Scientist & Polars Contributor

Данные временных рядов

Временной ряд рыночных цен

Данные временных рядов

Временной ряд продаж

Данные временных рядов

Временной ряд потоков

Данные временных рядов

Временной ряд количества

Набор данных о ценах на электроэнергию

shape: (24, 3)
| time             | price | solar |
| ---              | ---   | ---   |
| str              | f64   | f64   |
|------------------|-------|-------|
| 05/07/2025 00:00 | 34.2  | 0.0   |
| ...              | ...   | ...   |
| 05/07/2025 12:00 | 0.0   | 462.0 |

time - почасовые значения
price - £ за мегаватт-час
solar - Вт на квадратный метр
solar > 400 = тёплый летний день

Зависимость цены от солнечной генерации

Временной ряд цен на электроэнергию

Зависимость цены от солнечной генерации

Временной ряд цен на электроэнергию

Типы данных datetime в Polars

Date - календарная дата - 2000-01-01
Datetime - дата и время - 2000-01-01 12:00:00
Time - время суток - 12:00:00
Duration - промежуток времени - 3 hours

Автоматический разбор дат

pl.read_csv(
  "electricity_prices",

)

Автоматический разбор дат

pl.read_csv(
  "electricity_prices",
  try_parse_dates=True
)

формат: YYYY-MM-DD
напр. 2025-07-05
напр. 2025-07-05 12:00:00

Данные требуют разбора вручную

| time             | price | solar |
| ---              | ---   | ---   |
| str              | f64   | f64   |
|------------------|-------|-------|
| 05/07/2025 00:00 | 34.2  | 0.0   |
| 05/07/2025 01:00 | 28.7  | 0.0   |

формат: DD/MM/YYYY HH:MM
Polars не распознаёт его автоматически

Разбор с помощью strptime

prices.with_columns(
    pl.col("time").str.strptime(                             )
)

Разбор с помощью strptime

prices.with_columns(
    pl.col("time").str.strptime(pl.Datetime,                 )
)

Разбор с помощью strptime

prices.with_columns(
    pl.col("time").str.strptime(pl.Datetime, "%d/%m/%Y      ")
)

Разбор с помощью strptime

prices.with_columns(
    pl.col("time").str.strptime(pl.Datetime, "%d/%m/%Y %H:%M")
)

Разбор с помощью strptime

prices.with_columns(
    pl.col("time").str.strptime(pl.Datetime, "%d/%m/%Y %H:%M")
)

| time                | price | solar |
| ---                 | ---   | ---   |
| datetime[us]        | f64   | f64   |
|---------------------|-------|-------|
| 2025-07-05 00:00:00 | 34.2  | 0.0   |
| 2025-07-05 01:00:00 | 28.7  | 0.0   |
| 2025-07-05 02:00:00 | 27.5  | 0.0   |

Извлечение компонентов datetime

Таблица данных временного ряда

Извлечение компонентов datetime

Таблица данных временного ряда с выделенной датой в одной строке

Извлечение компонентов datetime

Таблица данных временного ряда с выделенным временем в одной строке

Извлечение компонентов datetime

Таблица данных временного ряда с выделенным часом в одной строке

Извлечение даты

prices.with_columns(
    pl.col("time").dt.date()
)

Извлечение даты

prices.with_columns(
    pl.col("time").dt.date().alias("date")
)

Извлечение даты

prices.with_columns(
    pl.col("time").dt.date().alias("date")
)

| time                | price | solar | date       |
| ---                 | ---   | ---   | ---        |
| datetime[µs]        | f64   | f64   | date       |
|---------------------|-------|-------|------------|
| 2025-07-05 00:00:00 | 34.2  | 0.0   | 2025-07-05 |
| 2025-07-05 01:00:00 | 28.7  | 0.0   | 2025-07-05 |
| 2025-07-05 02:00:00 | 27.5  | 0.0   | 2025-07-05 |

Извлечение времени

prices.with_columns(
    pl.col("time").dt.time().alias("time_of_day")
)

Извлечение времени

prices.with_columns(
    pl.col("time").dt.time().alias("time_of_day")
)

| time                | price | solar | time_of_day |
| ---                 | ---   | ---   | ---         |
| datetime[us]        | f64   | f64   | time        |
|---------------------|-------|-------|-------------|
| 2025-07-05 00:00:00 | 34.2  | 0.0   | 00:00:00    |
| 2025-07-05 01:00:00 | 28.7  | 0.0   | 01:00:00    |
| 2025-07-05 02:00:00 | 27.5  | 0.0   | 02:00:00    |

Извлечение часа

prices.with_columns(
    pl.col("time").dt.hour().alias("hour")
)

Извлечение часа

prices.with_columns(
    pl.col("time").dt.hour().alias("hour")
)

| time                | price | solar | hour |
| ---                 | ---   | ---   | ---  |
| datetime[µs]        | f64   | f64   | i8   |
|---------------------|-------|-------|------|
| 2025-07-05 00:00:00 | 34.2  | 0.0   | 0    |
| 2025-07-05 01:00:00 | 28.7  | 0.0   | 1    |
| 2025-07-05 12:00:00 | 0.0   | 462.0 | 12   |

Другие компоненты datetime

.dt.year() - извлечь год
.dt.month() - извлечь месяц (1–12)
.dt.day() - извлечь день месяца
.dt.minute() - извлечь минуту
...

¹ https://docs.pola.rs/api/python/dev/reference/expressions/temporal.html

Сдвиг значений datetime

.dt.offset_by() - сдвиг значений datetime
"1h" - вперёд на 1 час
"-2d" - назад на 2 дня

Сдвиг значений datetime

.dt.offset_by() - сдвиг значений datetime
"1h" - вперёд на 1 час
"-2d" - назад на 2 дня

¹ https://docs.pola.rs/api/python/stable/reference/expressions/api/polars.Expr.dt.offset_by.html

Добавление конца временного окна

prices.with_columns(
    pl.col("time").dt.offset_by("1h")
)

Добавление конца временного окна

prices.with_columns(
    pl.col("time").dt.offset_by("1h").alias("time_end")
)

Добавление конца временного окна

prices.with_columns(
    pl.col("time").dt.offset_by("1h").alias("time_end")
)

| time                | price | solar | time_end            |
| ---                 | ---   | ---   | ---                 |
| datetime[µs]        | f64   | f64   | datetime[µs]        |
|---------------------|-------|-------|---------------------|
| 2025-07-05 00:00:00 | 34.2  | 0.0   | 2025-07-05 01:00:00 |
| 2025-07-05 01:00:00 | 28.7  | 0.0   | 2025-07-05 02:00:00 |
| 2025-07-05 02:00:00 | 27.5  | 0.0   | 2025-07-05 03:00:00 |

Давайте потренируемся!

Преобразование данных с помощью Polars