Исследование данных

Симуляции Монте-Карло на Python

Izzy Weber

Curriculum Manager, DataCamp

Набор данных по диабету

Десять независимых переменных:

  • Возраст age
  • Пол sex
  • Индекс массы тела bmi
  • Среднее артериальное давление bp
  • Шесть показателей сыворотки крови: tc, ldl, hdl, tch, ltg, glu
1 Bradley Efron, Trevor Hastie, Iain Johnstone and Robert Tibshirani (2004) «Least Angle Regression,» Annals of Statistics (with discussion), 407-499 2 https://www4.stat.ncsu.edu/~boos/var.select/diabetes.html
Симуляции Монте-Карло на Python

Набор данных по диабету

Зависимая переменная

  • Количественный показатель прогрессирования заболевания через год после базовой точки, y

 

Размер набора данных

  • 442 пациента с диабетом
Симуляции Монте-Карло на Python

Набор данных по диабету

dia.head()

|     | age | sex | bmi  | bp     | tc  | ldl   | hdl  | tch  | ltg    | glu | y   |
|-----|-----|-----|------|--------|-----|-------|------|------|--------|-----|-----|
| 0   | 59  | 2   | 32.1 | 101.00 | 157 | 93.2  | 38.0 | 4.00 | 4.8598 | 87  | 151 |
| 1   | 48  | 1   | 21.6 | 87.00  | 183 | 103.2 | 70.0 | 3.00 | 3.8918 | 69  | 75  |
| 2   | 72  | 2   | 30.5 | 93.00  | 156 | 93.6  | 41.0 | 4.00 | 4.6728 | 85  | 141 |
| 3   | 24  | 1   | 25.3 | 84.00  | 198 | 131.4 | 40.0 | 5.00 | 4.8903 | 89  | 206 |
| 4   | 50  | 1   | 23.0 | 101.00 | 192 | 125.4 | 52.0 | 4.00 | 4.2905 | 80  | 135 |
1 https://www4.stat.ncsu.edu/~boos/var.select/diabetes.html 2 http://statweb.lsu.edu/faculty/li/IIT/diabetes.txt
Симуляции Монте-Карло на Python

Зачем исследовать данные перед симуляцией?

  • Визуально оценить распределение переменных
    • Интуитивное понимание вероятностного распределения
  • Проверить и измерить корреляцию между предикторами
    • Обоснование для моделирования ковариационной структуры
  • Проверить и измерить корреляцию между предикторами и откликом
    • Предварительное понимание связи между предикторами и откликом
Симуляции Монте-Карло на Python

Попарный график набора данных

sns.pairplot(dia)

попарный график переменных набора данных dia

Симуляции Монте-Карло на Python

Попарный график набора данных

sns.pairplot(dia)

Попарный график с выделением переменной sex

Симуляции Монте-Карло на Python

Попарный график набора данных

sns.pairplot(dia)

Попарный график с выделением tc и ldl

Симуляции Монте-Карло на Python

Корреляции между переменными

dia.corr()

Матрица корреляции для всех переменных набора данных dia

Симуляции Монте-Карло на Python

Давайте потренируемся!

Симуляции Монте-Карло на Python

Preparing Video For Download...