Xử lý tính phức tạp trong dữ liệu thực nghiệm

Thiết kế thí nghiệm với Python

James Chapman

Curriculum Manager, DataCamp

Dữ liệu địa chất

mineral_rocks

 SampleID     RockType  Location  MineralHardness  RockPorosity
        1  Metamorphic      West              5.9          12.3
        2      Igneous     North              5.3           1.6
        3  Metamorphic      East              5.6          11.0
        4  Metamorphic     South              3.2          12.2
        5  Sedimentary     South              2.0          29.8

Hiểu tính phức tạp của dữ liệu

Loại đá và độ cứng khoáng vật có thể tương tác, ảnh hưởng đến tính chất khoáng vật
Phương sai độ rỗng đá có thể thay đổi, cho thấy dị phương sai
Biến nhiễu có thể tác động tới độ cứng và độ rỗng

Một đống gồm nhiều loại đá khác nhau.

Xử lý tương tác

sns.scatterplot(x='MineralHardness', y='RockPorosity', 
                hue='RockType', data=mineral_rocks)

Độ cứng khoáng vật vs. Độ rỗng đá theo loại đá

Xử lý dị phương sai

Dị phương sai: mức độ biến thiên của một biến thay đổi theo phạm vi của biến khác

sns.residplot(x='MineralHardness', y='RockPorosity', 
              data=mineral_rocks, lowess=True)

Khảo sát phương sai không bằng nhau

Dữ liệu không chuẩn

sns.displot(mineral_rocks['RockPorosity'])

Biểu đồ tần suất và đường mật độ của RockPorosity

Biến đổi dữ liệu với Box-Cox

from scipy.stats import boxcox
mineral_rocks['TransformedRockPorosity'], _ = boxcox(mineral_rocks['RockPorosity'])
sns.displot(mineral_rocks['TransformedRockPorosity'])

Độ rỗng sau biến đổi Box-Cox

sns.residplot(x='MineralHardness', y='TransformedRockPorosity',
              data=mineral_rocks, lowess=True)

Biểu đồ phần dư: Độ rỗng đã biến đổi theo Độ cứng khoáng vật

Cùng luyện tập nào!

Thiết kế thí nghiệm với Python