डेटा साफ करना

इंटरमीडिएट Julia

Anthony Markham

Quantitative Developer

कॉलम जानकारी दिखाएँ

किसी भी डेटासेट में आप सबसे पहले कॉलम नाम देखते हैं.
सामान्यतः, कॉलम नाम पढ़ने योग्य और संक्षिप्त होने चाहिए.

println(first(stock_data))

DataFrameRow
 Row | Date        Open     High     Low      Close    Adj Close  Volume
     | String15    Float64  Float64  Float64  Float64  Float64    Int64
<----|---------------------------------------------------------------------
   1 | 21/01/2022   164.42   166.33    162.3   162.41    161.473  122848900

कॉलम का नाम बदलें

यदि कोई और लेबल अधिक उपयुक्त लगे, तो हम कॉलम का नाम बदल सकते हैं.

 Row | Date        Open     High     Low      Close    Adj Close  Volume
     | String15    Float64  Float64  Float64  Float64  Float64    Int64
<----|---------------------------------------------------------------------
   1 | 21/01/2022   164.42   166.33    162.3   162.41    161.473  122848900

यहाँ Adj Close में स्पेस है, जिसे हमें टालना है.

rename!(stock_data, Dict(:Adj Close => :Adj_Close))

 Row | Date        Open     High     Low      Close    Adj_Close  Volume
     | String15    Float64  Float64  Float64  Float64  Float64    Int64
<----|---------------------------------------------------------------------
   1 | 21/01/2022   164.42   166.33    162.3   162.41    161.473  122848900

Describe से missing data ढूँढें

Missing values डेटा में असंगति का आम कारण हैं.
Missing data के कई कारण हो सकते हैं:
- measurement errors
- transcription errors
- intentionally missing
DataFrame में missing data जल्दी ढूँढने के लिए describe मेथड उपयोग करें.

println(describe(stock_data))

Missing data का वर्णन

describe() हमारे पूरे DataFrame का समग्र ओवरव्यू देता है.

7×7 DataFrame
 Row | variable   mean       min        median     max        nmissing  eltype
     | Symbol     Union     Any          Union     Any        Int64     DataType
<--------------------------------------------------------------------------------
   1 | Date                  1/02/2022             9/12/2022         0  String15
   2 | Open       152.613    126.01     151.19     178.55            0  Float64
   3 | High       154.721    127.77     153.72     179.61            0  Float64
   4 | Low        150.529    124.17     149.34     176.7             0  Float64
   5 | Close      152.698    125.02     151.21     178.96            4  Union
   6 | Adj_Close  152.296    125.02     151.07     178.154           0  Float64
   7 | Volume     8.70851e7  35195900   8.22912e7  182602000         0  Int64

Missing data हटाएँ

हम dropmissing से missing पंक्तियाँ हटा सकते हैं.

println(nrow(stock_data))

dropmissing!(stock_data, :"Close")

nrow() फिर चलाकर पुष्टि करें कि 4 पंक्तियाँ हट गईं.

println(nrow(stock_data))

Missing data बदलें

Missing values वाली पंक्तियाँ सीधे हटाना अक्सर उचित नहीं होता.
डेटा के अनुसार, हम missing values को किसी विकल्प से भर सकते हैं.

replace!(stock_data[!, "Close"], missing => 130)
println(stock_data[[202, 227, 235, 240], :])

 Row | Date        Open     High     Low      Close     Adj Close  Volume
     | String15    Float64  Float64  Float64  Float64?  Float64    Int64
<----|-----------------------------------------------------------------------
   1 | 8/11/2022    140.41   141.43   137.49    130      139.5    89908500
   2 | 14/12/2022   145.35   146.66   141.16    130      143.21   82291200
   3 | 25/12/2022   130.92   132.42   129.64    130      131.86   63814900
   4 | 3/01/2023    130.28   130.9    124.17    130      125.07  112117500

Missing values को मनमाने मान से भरना प्रायः सही नहीं होता.

अभ्यास करते हैं!

इंटरमीडिएट Julia