Lidando com complexidades em dados experimentais

Projeto experimental em Python

James Chapman

Curriculum Manager, DataCamp

Dados geológicos

mineral_rocks

 SampleID     RockType  Location  MineralHardness  RockPorosity
        1  Metamorphic      West              5.9          12.3
        2      Igneous     North              5.3           1.6
        3  Metamorphic      East              5.6          11.0
        4  Metamorphic     South              3.2          12.2
        5  Sedimentary     South              2.0          29.8

Entendendo complexidades nos dados

Tipos de rocha e dureza mineral podem interagir, afetando propriedades minerais
A variância da porosidade pode mudar, indicando heterocedasticidade
Variáveis de confusão podem influenciar dureza e porosidade

Um monte com diferentes tipos de rochas.

Lidando com interações

sns.scatterplot(x='MineralHardness', y='RockPorosity', 
                hue='RockType', data=mineral_rocks)

Dureza Mineral vs. Porosidade da Rocha por tipo de rocha

Lidando com heterocedasticidade

Heterocedasticidade: variabilidade que muda de uma variável ao longo da faixa de outra

sns.residplot(x='MineralHardness', y='RockPorosity', 
              data=mineral_rocks, lowess=True)

Examinando variância desigual

Dados não normais

sns.displot(mineral_rocks['RockPorosity'])

Histograma e curva de densidade de RockPorosity

Transformação de dados com Box-Cox

from scipy.stats import boxcox
mineral_rocks['TransformedRockPorosity'], _ = boxcox(mineral_rocks['RockPorosity'])
sns.displot(mineral_rocks['TransformedRockPorosity'])

Porosidade transformada por Box-Cox

sns.residplot(x='MineralHardness', y='TransformedRockPorosity',
              data=mineral_rocks, lowess=True)

Gráfico de resíduos da Porosidade de Rocha transformada vs. Dureza Mineral

Vamos praticar!

Projeto experimental em Python