Złożoności w danych eksperymentalnych

Projektowanie eksperymentów w Pythonie

James Chapman

Curriculum Manager, DataCamp

Dane geologiczne

mineral_rocks

 SampleID     RockType  Location  MineralHardness  RockPorosity
        1  Metamorphic      West              5.9          12.3
        2      Igneous     North              5.3           1.6
        3  Metamorphic      East              5.6          11.0
        4  Metamorphic     South              3.2          12.2
        5  Sedimentary     South              2.0          29.8

Złożoności danych

Typy skał i twardość minerałów mogą wchodzić w interakcje, wpływając na właściwości minerałów
Wariancja porowatości skał może się zmieniać, co wskazuje na heteroskedastyczność
Zmienne zakłócające mogą wpływać na twardość minerałów i porowatość

Zbiór różnych skał ułożonych w stos.

Analiza interakcji

sns.scatterplot(x='MineralHardness', y='RockPorosity', 
                hue='RockType', data=mineral_rocks)

Twardość minerałów a porowatość skały według typu skały

Analiza heteroskedastyczności

Heteroskedastyczność: zmienna zmienność jednej zmiennej w zakresie innej zmiennej

sns.residplot(x='MineralHardness', y='RockPorosity', 
              data=mineral_rocks, lowess=True)

Badanie nierówności wariancji

Dane nienormalne

sns.displot(mineral_rocks['RockPorosity'])

Histogram i krzywa gęstości RockPorosity

Transformacja danych metodą Box-Cox

from scipy.stats import boxcox
mineral_rocks['TransformedRockPorosity'], _ = boxcox(mineral_rocks['RockPorosity'])
sns.displot(mineral_rocks['TransformedRockPorosity'])

Porowatość po transformacji Box-Cox

sns.residplot(x='MineralHardness', y='TransformedRockPorosity',
              data=mineral_rocks, lowess=True)

Wykres reszt: przekształcona porowatość skały a twardość minerałów

Ćwiczmy!

Projektowanie eksperymentów w Pythonie