Gestire le complessità nei dati sperimentali

Progettazione Sperimentale in Python

James Chapman

Curriculum Manager, DataCamp

Dati geologici

mineral_rocks

 SampleID     RockType  Location  MineralHardness  RockPorosity
        1  Metamorphic      West              5.9          12.3
        2      Igneous     North              5.3           1.6
        3  Metamorphic      East              5.6          11.0
        4  Metamorphic     South              3.2          12.2
        5  Sedimentary     South              2.0          29.8

Capire le complessità dei dati

I tipi di roccia e la durezza minerale possono interagire, influenzando le proprietà
La varianza della porosità può cambiare, indicando eteroschedasticità
Variabili di confondimento possono influire su durezza e porosità

Un mucchio di rocce diverse.

Gestire le interazioni

sns.scatterplot(x='MineralHardness', y='RockPorosity', 
                hue='RockType', data=mineral_rocks)

Durezza minerale vs Porosità per tipo di roccia

Gestire l'eteroschedasticità

Eteroschedasticità: variabilità che cambia di una variabile lungo l'intervallo di un'altra

sns.residplot(x='MineralHardness', y='RockPorosity', 
              data=mineral_rocks, lowess=True)

Esame della varianza non uniforme

Dati non normali

sns.displot(mineral_rocks['RockPorosity'])

Istogramma e curva di densità di RockPorosity

Trasformare i dati con Box-Cox

from scipy.stats import boxcox
mineral_rocks['TransformedRockPorosity'], _ = boxcox(mineral_rocks['RockPorosity'])
sns.displot(mineral_rocks['TransformedRockPorosity'])

Porosità trasformata con Box-Cox

sns.residplot(x='MineralHardness', y='TransformedRockPorosity',
              data=mineral_rocks, lowess=True)

Grafico dei residui: Porosità trasformata vs Durezza minerale

Ayo berlatih!

Progettazione Sperimentale in Python