Valeurs aberrantes

Analyse de données IoT avec Python

Matthias Voppichler

IT Developer

Valeurs aberrantes

Pourquoi des valeurs aberrantes apparaissent dans les ensembles de données :

Erreur de mesure
Manipulation
Événements extrêmes

Valeurs aberrantes

temp_mean = data["temperature"].mean() 
temp_std = data["temperature"].std()

data["mean"] = temp_mean
data["upper_limit"] = temp_mean + (temp_std * 3)
data["lower_limit"] = temp_mean - (temp_std * 3) 

print(data.iloc[0]["upper_limit"])
print(data.iloc[0]["mean"])
print(data.iloc[0]["lower_limit"])

29.513933116002725
14.5345
-0.44493311600272456

Graphique des valeurs aberrantes

data.plot()

Moyenne, bornes sup. et inf. avec 3 * écart-type

Autocorrélation

from statsmodels.graphics import tsaplots

tsaplots.plot_acf(data['temperature'], lags=50)

Image avec autocorrélation

Autocorrélation

from statsmodels.graphics import tsaplots

tsaplots.plot_acf(data['temperature'], lags=50)

Image avec autocorrélation, avec une flèche vers lag24

Passons à la pratique !

Analyse de données IoT avec Python