Работа со сложностями в экспериментальных данных

Планирование экспериментов в Python

James Chapman

Curriculum Manager, DataCamp

Геологические данные

mineral_rocks

 SampleID     RockType  Location  MineralHardness  RockPorosity
        1  Metamorphic      West              5.9          12.3
        2      Igneous     North              5.3           1.6
        3  Metamorphic      East              5.6          11.0
        4  Metamorphic     South              3.2          12.2
        5  Sedimentary     South              2.0          29.8

Понимание сложностей данных

Типы горных пород и твёрдость минералов могут взаимодействовать, влияя на свойства минералов
Дисперсия пористости пород может варьироваться, указывая на гетероскедастичность
Мешающие переменные могут влиять на твёрдость минералов и пористость

Коллекция различных горных пород.

Работа с взаимодействиями

sns.scatterplot(x='MineralHardness', y='RockPorosity', 
                hue='RockType', data=mineral_rocks)

Твёрдость минералов и пористость пород по типу

Работа с гетероскедастичностью

Гетероскедастичность: изменение вариабельности одной переменной в зависимости от диапазона другой

sns.residplot(x='MineralHardness', y='RockPorosity', 
              data=mineral_rocks, lowess=True)

Анализ неравномерной дисперсии

Ненормальное распределение данных

sns.displot(mineral_rocks['RockPorosity'])

Гистограмма и кривая плотности RockPorosity

Преобразование данных с помощью Box-Cox

from scipy.stats import boxcox
mineral_rocks['TransformedRockPorosity'], _ = boxcox(mineral_rocks['RockPorosity'])
sns.displot(mineral_rocks['TransformedRockPorosity'])

Пористость после преобразования Box-Cox

sns.residplot(x='MineralHardness', y='TransformedRockPorosity',
              data=mineral_rocks, lowess=True)

График остатков преобразованной пористости относительно твёрдости минералов

Давайте потренируемся!

Планирование экспериментов в Python