Урахування складнощів в експериментальних даних

Експериментальний дизайн у Python

James Chapman

Curriculum Manager, DataCamp

Геологічні дані

mineral_rocks

 SampleID     RockType  Location  MineralHardness  RockPorosity
        1  Metamorphic      West              5.9          12.3
        2      Igneous     North              5.3           1.6
        3  Metamorphic      East              5.6          11.0
        4  Metamorphic     South              3.2          12.2
        5  Sedimentary     South              2.0          29.8

Розуміння складності даних

Типи порід і твердість мінералів можуть взаємодіяти, впливаючи на властивості мінералів
Дисперсія пористості порід може змінюватися — це ознака гетероскедастичності
Змішувальні змінні можуть впливати на твердість і пористість

Збірка різних порід у насипі.

Урахування взаємодій

sns.scatterplot(x='MineralHardness', y='RockPorosity', 
                hue='RockType', data=mineral_rocks)

Твердість мінералів vs. пористість порід за типом породи

Урахування гетероскедастичності

Гетероскедастичність: зміна варіативності однієї змінної вздовж діапазону іншої

sns.residplot(x='MineralHardness', y='RockPorosity', 
              data=mineral_rocks, lowess=True)

Перевірка нерівної дисперсії

Ненормальні дані

sns.displot(mineral_rocks['RockPorosity'])

Гістограма та щільність RockPorosity

Перетворення даних методом Box–Cox

from scipy.stats import boxcox
mineral_rocks['TransformedRockPorosity'], _ = boxcox(mineral_rocks['RockPorosity'])
sns.displot(mineral_rocks['TransformedRockPorosity'])

Пористість після перетворення Box–Cox

sns.residplot(x='MineralHardness', y='TransformedRockPorosity',
              data=mineral_rocks, lowess=True)

Графік залишків: перетворена пористість проти твердості мінералів

Давайте потренуємось!

Експериментальний дизайн у Python