Complexiteiten in experimentele data aanpakken

Experimenteel ontwerpen in Python

James Chapman

Curriculum Manager, DataCamp

Geologische data

mineral_rocks

 SampleID     RockType  Location  MineralHardness  RockPorosity
        1  Metamorphic      West              5.9          12.3
        2      Igneous     North              5.3           1.6
        3  Metamorphic      East              5.6          11.0
        4  Metamorphic     South              3.2          12.2
        5  Sedimentary     South              2.0          29.8

Datacomplexiteit begrijpen

Gesteentetypen en mineraalhardheid kunnen interageren en zo mineraleneigenschappen beïnvloeden
Varianties in porositeit kunnen verschillen: heteroscedasticiteit
Confounders kunnen hardheid en porositeit beïnvloeden

Een hoop verschillende stenen.

Interacties aanpakken

sns.scatterplot(x='MineralHardness', y='RockPorosity', 
                hue='RockType', data=mineral_rocks)

Mineraalhardheid vs. porositeit per gesteentetype

Heteroscedasticiteit aanpakken

Heteroscedasticiteit: veranderende variatie van een variabele over het bereik van een andere variabele

sns.residplot(x='MineralHardness', y='RockPorosity', 
              data=mineral_rocks, lowess=True)

Ongelijke variantie onderzoeken

Niet-normale data

sns.displot(mineral_rocks['RockPorosity'])

Histogram en dichtheidskromme van RockPorosity

Data transformeren met Box-Cox

from scipy.stats import boxcox
mineral_rocks['TransformedRockPorosity'], _ = boxcox(mineral_rocks['RockPorosity'])
sns.displot(mineral_rocks['TransformedRockPorosity'])

Porositeit getransformeerd met Box-Cox

sns.residplot(x='MineralHardness', y='TransformedRockPorosity',
              data=mineral_rocks, lowess=True)

Residudiagram van getransformeerde porositeit versus mineraalhardheid

Laten we oefenen!