時系列データのクリーニング

Pythonで学ぶ時系列データの可視化

Thomas Vincent

Head of Data Science, Getty Images

CO2濃度の時系列

ハワイのマウナロア観測所における、CO2濃度の週次測定値の一部。

datastamp    co2                   
1958-03-29  316.1
1958-04-05  317.3
1958-04-12  317.6
...
...
2001-12-15  371.2
2001-12-22  371.3
2001-12-29  371.5

DataFrameの欠損値を検出する

print(df.isnull())

datestamp   co2
1958-03-29  False
1958-04-05  False
1958-04-12  False

print(df.notnull())

datestamp    co2
1958-03-29   True
1958-04-05   True
1958-04-12   True
...

DataFrameの欠損値を集計する

print(df.isnull().sum())

datestamp     0
co2          59
dtype: int64

DataFrameの欠損値を置換する

print(df)

...
5  1958-05-03  316.9
6  1958-05-10    NaN
7  1958-05-17  317.5
...

df = df.fillna(method='bfill')
print(df)

...
5  1958-05-03  316.9
6  1958-05-10  317.5
7  1958-05-17  317.5
...

さあ、練習しましょう！

Pythonで学ぶ時系列データの可視化