データのクレンジング
Julia中級
Anthony Markham
Quantitative Developer
列情報を表示
- データセットでは、まず列名を確認します。
- 一般に、列名は読みやすく簡潔であるべきです。
println(first(stock_data))
DataFrameRow
Row | Date Open High Low Close Adj Close Volume
| String15 Float64 Float64 Float64 Float64 Float64 Int64
<----|---------------------------------------------------------------------
1 | 21/01/2022 164.42 166.33 162.3 162.41 161.473 122848900
列名を変更
- より適切なラベルだと判断した場合、列名を変更できます。
Row | Date Open High Low Close Adj Close Volume
| String15 Float64 Float64 Float64 Float64 Float64 Int64
<----|---------------------------------------------------------------------
1 | 21/01/2022 164.42 166.33 162.3 162.41 161.473 122848900
- この例では
Adj Closeに空白があるため、避けたいです。
rename!(stock_data, Dict(:Adj Close => :Adj_Close))
Row | Date Open High Low Close Adj_Close Volume
| String15 Float64 Float64 Float64 Float64 Float64 Int64
<----|---------------------------------------------------------------------
1 | 21/01/2022 164.42 166.33 162.3 162.41 161.473 122848900
欠損データの把握と検出
- 欠損値はデータの不整合の一般的な原因です。
欠損の理由はいくつかあります。
- 測定エラー
- 転記ミス
- 意図的な欠損
describe メソッドで DataFrame の欠損を素早く把握できます。
println(describe(stock_data))
欠損の記述
- describe() は DataFrame 全体の概要を示します。
7×7 DataFrame
Row | variable mean min median max nmissing eltype
| Symbol Union Any Union Any Int64 DataType
<--------------------------------------------------------------------------------
1 | Date 1/02/2022 9/12/2022 0 String15
2 | Open 152.613 126.01 151.19 178.55 0 Float64
3 | High 154.721 127.77 153.72 179.61 0 Float64
4 | Low 150.529 124.17 149.34 176.7 0 Float64
5 | Close 152.698 125.02 151.21 178.96 4 Union
6 | Adj_Close 152.296 125.02 151.07 178.154 0 Float64
7 | Volume 8.70851e7 35195900 8.22912e7 182602000 0 Int64
欠損データを削除
dropmissingで欠損行を削除できます。
println(nrow(stock_data))
252
dropmissing!(stock_data, :"Close")
- 再度 nrow() を使って、4 行削除されたことを確認します。
println(nrow(stock_data))
248
欠損データを置換する
- 欠損値のある行を単純に削除するのは、多くの場合不適切です。
- データに応じて、欠損値を代替値で置換できます。
replace!(stock_data[!, "Close"], missing => 130)
println(stock_data[[202, 227, 235, 240], :])
Row | Date Open High Low Close Adj Close Volume
| String15 Float64 Float64 Float64 Float64? Float64 Int64
<----|-----------------------------------------------------------------------
1 | 8/11/2022 140.41 141.43 137.49 130 139.5 89908500
2 | 14/12/2022 145.35 146.66 141.16 130 143.21 82291200
3 | 25/12/2022 130.92 132.42 129.64 130 131.86 63814900
4 | 3/01/2023 130.28 130.9 124.17 130 125.07 112117500
- 欠損値を恣意的な値で埋めるのは、ほとんどの場合正しくありません。
Passons à la pratique !
Julia中級
