Gérer les complexités des données expérimentales

Conception expérimentale en Python

James Chapman

Curriculum Manager, DataCamp

Données géologiques

mineral_rocks

 SampleID     RockType  Location  MineralHardness  RockPorosity
        1  Metamorphic      West              5.9          12.3
        2      Igneous     North              5.3           1.6
        3  Metamorphic      East              5.6          11.0
        4  Metamorphic     South              3.2          12.2
        5  Sedimentary     South              2.0          29.8

Comprendre les complexités des données

Les types de roches et la dureté minérale peuvent interagir, affectant les propriétés minérales
La variance de la porosité peut varier, indiquant une hétéroscédasticité
Des variables de confusion peuvent influer sur la dureté et la porosité

Un tas de roches variées.

Gérer les interactions

sns.scatterplot(x='MineralHardness', y='RockPorosity', 
                hue='RockType', data=mineral_rocks)

Dureté minérale vs porosité par type de roche

Gérer l'hétéroscédasticité

Hétéroscédasticité : variabilité changeante d'une variable selon l'intervalle d'une autre

sns.residplot(x='MineralHardness', y='RockPorosity', 
              data=mineral_rocks, lowess=True)

Examen d'une variance inégale

Données non normales

sns.displot(mineral_rocks['RockPorosity'])

Histogramme et courbe de densité de RockPorosity

Transformation des données avec Box-Cox

from scipy.stats import boxcox
mineral_rocks['TransformedRockPorosity'], _ = boxcox(mineral_rocks['RockPorosity'])
sns.displot(mineral_rocks['TransformedRockPorosity'])

Porosité transformée par Box-Cox

sns.residplot(x='MineralHardness', y='TransformedRockPorosity',
              data=mineral_rocks, lowess=True)

Nuage des résidus de la porosité transformée selon la dureté minérale

Passons à la pratique !

Conception expérimentale en Python