依時間篩選與彙總

使用 Polars 進行資料轉換

Liam Brannigan

Data Scientist & Polars Contributor

找出特定價格

時間序列資料表

使用 Polars 進行資料轉換

找出特定價格

時間序列資料表(標出 1 列)

使用 Polars 進行資料轉換

找出特定價格

時間序列資料表(標出 3 列)

使用 Polars 進行資料轉換

使用 pl.datetime 篩選

prices.filter(

)

$$

$$

$$

$$

  • 任務:找出「7 月 5 日中午」的價格
使用 Polars 進行資料轉換

使用 pl.datetime 篩選

prices.filter(
    pl.col("time") == 
)
使用 Polars 進行資料轉換

使用 pl.datetime 篩選

prices.filter(
    pl.col("time") == pl.datetime(                                  )
)
使用 Polars 進行資料轉換

使用 pl.datetime 篩選

prices.filter(
    pl.col("time") == pl.datetime(year=2025, month=7, day=5, hour=12)
)
| time                | price | solar |
| ---                 | ---   | ---   |
| datetime[µs]        | f64   | f64   |
|---------------------|-------|-------|
| 2025-07-05 12:00:00 | 0.0   | 462.0 |
使用 Polars 進行資料轉換

用 pl.date 依日期篩選

prices.filter(
    pl.col("time").dt.date() == 
)
使用 Polars 進行資料轉換

用 pl.date 依日期篩選

prices.filter(
    pl.col("time").dt.date() == pl.date(year=2025, month=7, day=5)
)
使用 Polars 進行資料轉換

用 pl.date 依日期篩選

prices.filter(
    pl.col("time").dt.date() == pl.date(year=2025, month=7, day=5)
)
| time                | price | solar |
| ---                 | ---   | ---   |
| datetime[µs]        | f64   | f64   |
|---------------------|-------|-------|
| 2025-07-05 00:00:00 | 34.2  | 0.0   |
| 2025-07-05 01:00:00 | 28.7  | 0.0   |
| ...                 | ...   | ...   |
| 2025-07-05 23:00:00 | 72.3  | 0.0   |
使用 Polars 進行資料轉換

篩選一段日期時間區間

prices.filter(
    pl.col("time").is_between(


    )
)
使用 Polars 進行資料轉換

篩選一段日期時間區間

prices.filter(
    pl.col("time").is_between(
        pl.datetime(2025, 7, 5, 8),
        pl.datetime(2025, 7, 5, 18)
    )
)
使用 Polars 進行資料轉換

篩選一段日期時間區間

prices.filter(
    pl.col("time").is_between(
        pl.datetime(2025, 7, 5, 8),
        pl.datetime(2025, 7, 5, 18)
    )
)
| time                | price | solar |
| ---                 | ---   | ---   |
| datetime[µs]        | f64   | f64   |
|---------------------|-------|-------|
| 2025-07-05 08:00:00 | 1.7   | 180.0 |
| 2025-07-05 09:00:00 | 1.3   | 243.0 |
| ...                 | ...   | ...   |
| 2025-07-05 17:00:00 | 77.8  | 153.0 |
| 2025-07-05 18:00:00 | 87.3  | 119.0 |
使用 Polars 進行資料轉換

依時間區間彙總

要彙總成時間視窗的列

  • .group_by_dynamic() 做彙總
使用 Polars 進行資料轉換

依時間區間彙總

prices.sort("time")


使用 Polars 進行資料轉換

依時間區間彙總

prices.sort("time").group_by_dynamic("time",          )


使用 Polars 進行資料轉換

依時間區間彙總

prices.sort("time").group_by_dynamic("time", every="6h")


使用 Polars 進行資料轉換

以 6 小時視窗彙總

prices.sort("time").group_by_dynamic("time", every="6h").agg(

)
使用 Polars 進行資料轉換

以 6 小時視窗彙總

prices.sort("time").group_by_dynamic("time", every="6h").agg(
    pl.col("price").mean().alias("avg_price")
)
使用 Polars 進行資料轉換

以 6 小時視窗彙總

prices.sort("time").group_by_dynamic("time", every="6h").agg(
    pl.col("price").mean().alias("avg_price")
)
| time                | avg_price |
| ---                 | ---       |
| datetime[µs]        | f64       |
|---------------------|-----------|
| 2025-07-05 00:00:00 | 28.4      |
| 2025-07-05 06:00:00 | 15.2      |
| 2025-07-05 12:00:00 | 42.1      |
| 2025-07-05 18:00:00 | 68.7      |
使用 Polars 進行資料轉換

依日彙總

prices.sort("time").group_by_dynamic("time", every="1d").agg(

pl.col("price").mean().alias("avg_price"), pl.col("solar").mean().alias("avg_solar")
)
使用 Polars 進行資料轉換

依日彙總

prices.sort("time").group_by_dynamic("time", every="1d").agg(
    pl.col("price").mean().alias("avg_price"),
    pl.col("solar").mean().alias("avg_solar")
)
| time                | avg_price | avg_solar |
| ---                 | ---       | ---       |
| datetime[µs]        | f64       | f64       |
|---------------------|-----------|-----------|
| 2025-07-05 00:00:00 | 36.7      | 147.1     |
| 2025-07-06 00:00:00 | 42.1      | 133.8     |
使用 Polars 進行資料轉換

控制視窗大小

  • every:新視窗開始的頻率
  • period:每個視窗的長度
  • 預設 period 等於 every
使用 Polars 進行資料轉換

控制視窗大小

prices.group_by_dynamic("time", every="2h")
使用 Polars 進行資料轉換

控制視窗大小

不重疊的 2 小時視窗

使用 Polars 進行資料轉換

控制視窗大小

prices.group_by_dynamic("time", every="1h", period="2h")
使用 Polars 進行資料轉換

控制視窗大小

第一個從 10 開始的重疊視窗

使用 Polars 進行資料轉換

控制視窗大小

第二個從 11 開始的重疊視窗

使用 Polars 進行資料轉換

一起來練習吧!

使用 Polars 進行資料轉換

Preparing Video For Download...