Gérer les complexités des données expérimentales

Conception d'expériences en Python

James Chapman

Curriculum Manager, DataCamp

Données géologiques

mineral_rocks

 SampleID     RockType  Location  MineralHardness  RockPorosity
        1  Metamorphic      West              5.9          12.3
        2      Igneous     North              5.3           1.6
        3  Metamorphic      East              5.6          11.0
        4  Metamorphic     South              3.2          12.2
        5  Sedimentary     South              2.0          29.8

Comprendre les complexités des données

Les types de roche et la dureté minérale peuvent interagir, influençant les propriétés minérales
La variance de la porosité peut changer, indiquant une hétéroscédasticité
Des variables de confusion peuvent influer sur la dureté et la porosité

Un amas de roches variées.

Traiter les interactions

sns.scatterplot(x='MineralHardness', y='RockPorosity', 
                hue='RockType', data=mineral_rocks)

Dureté minérale vs porosité selon le type de roche

Traiter l'hétéroscédasticité

Hétéroscédasticité : variabilité d'une variable qui change selon l'étendue d'une autre variable

sns.residplot(x='MineralHardness', y='RockPorosity', 
              data=mineral_rocks, lowess=True)

Examen d'une variance inégale

Données non normales

sns.displot(mineral_rocks['RockPorosity'])

Histogramme et courbe de densité de RockPorosity

Transformation des données avec Box-Cox

from scipy.stats import boxcox
mineral_rocks['TransformedRockPorosity'], _ = boxcox(mineral_rocks['RockPorosity'])
sns.displot(mineral_rocks['TransformedRockPorosity'])

Porosité transformée par Box-Cox

sns.residplot(x='MineralHardness', y='TransformedRockPorosity',
              data=mineral_rocks, lowess=True)

Nuage des résidus : porosité transformée vs dureté minérale

Passons à la pratique !

Conception d'expériences en Python