Разведочный анализ данных

Понимание науки о данных

Hadrien Lacroix

Content Developer at DataCamp

Что такое РАД?

Разведочный анализ данных:

Изучение данных
Формулирование гипотез
Оценка характеристик
Визуализация

фотография Джона Тьюки

Рабочий процесс с данными

рабочий процесс в data science

Сразу к делу

Dataset 1        Dataset 2        Dataset 3        Dataset 4        
|x    |y    |    |x    |y    |    |x    |y    |    |x    |y    |
|-----|-----|    |-----|-----|    |-----|-----|    |-----|-----|    
|10.0 |8.04 |    |10.0 |9.14 |    |10.0 |7.46 |    |8.0  |6.58 |
|8.0  |6.95 |    |8.0  |8.14 |    |8.0  |6.77 |    |8.0  |5.76 |
|13.0 |7.58 |    |13.0 |8.74 |    |13.0 |12.74|    |8.0  |7.71 |
|9.0  |8.81 |    |9.0  |8.77 |    |9.0  |7.11 |    |8.0  |8.84 |
|11.0 |8.33 |    |11.0 |9.26 |    |11.0 |7.81 |    |8.0  |8.47 |
|14.0 |9.96 |    |14.0 |8.10 |    |14.0 |8.84 |    |8.0  |7.04 |
|6.0  |7.24 |    |6.0  |6.13 |    |6.0  |6.08 |    |8.0  |5.25 |
|4.0  |4.26 |    |4.0  |3.10 |    |4.0  |5.39 |    |19.0 |12.50|
|12.0 |10.84|    |12.0 |9.13 |    |12.0 |8.15 |    |8.0  |5.56 |
|7.0  |4.82 |    |7.0  |7.26 |    |7.0  |6.42 |    |8.0  |7.91 |
|5.0  |5.68 |    |5.0  |4.74 |    |5.0  |5.73 |    |8.0  |6.89 |

Сюрприз!

Во всех четырёх наборах данных:

одинаковые среднее и дисперсия для x
одинаковые среднее и дисперсия для y
одинаковый коэффициент корреляции
одинаковое уравнение линейной регрессии

Коротко: они выглядят очень похожими

Квартет Энскомба

квартет Энскомба

линейный график квартета Энскомба

нелинейный график квартета Энскомба

квартет Энскомба — выброс искажает регрессию

квартет Энскомба — выброс искажает корреляцию

две ракеты приземляются одновременно

Знакомство с данными

Flight Number (число)
Date (дата и время)
Time (UTC) (дата и время)
Booster Version (текст)
Launch Site (текст)
Payload (текст)

Payload Mass (kg) (число)
Orbit (текст)
Customer (текст)
Mission Outcome (текст)
Landing Outcome (текст)

Предварительный просмотр данных

Flight  Date         Time (UTC)  Booster Version  Launch Site     Payload
_______________________________________________________________________________________________________
1       2010-06-04   18:45:00    F9 v1.0 B0003    CCAFS LC-40    Dragon Spacecraft Qualification Unit
2       2010-12-08   15:43:00    F9 v1.0 B0004    CCAFS LC-40    Dragon demo flight C1, two CubeSats...
3       2012-05-22   7:44:00     F9 v1.0 B0005    CCAFS LC-40    Dragon demo flight C2+
4       2012-10-08   0:35:00     F9 v1.0 B0006    CCAFS LC-40    SpaceX CRS-1
5       2013-03-01   15:10:00    F9 v1.0 B0007    CCAFS LC-40    SpaceX CRS-2

Payload Mass (kg)    Orbit     Customer         Mission Outcome  Landing Outcome
_______________________________________________________________________________________________________
NaN                  LEO       SpaceX           Success          Failure (parachute)
NaN                  LEO (ISS) NASA (COTS) NRO  Success          Failure (parachute)
525                  LEO (ISS) NASA (COTS)      Success          No attempt
500                  LEO (ISS) NASA (CRS)       Success          No attempt
677                  LEO (ISS) NASA (CRS)       Success          No attempt

Описательная статистика

        Flight  Date         Time (UTC)  Booster Version  Launch Site     Payload
_______________________________________________________________________________________________________
count   55     55            55          55               55              55
unique  55     55            53          51               4               55
top     6      2018-03-30    4:45:00     F9 v1.1          CCAFS LC-40     SES-9
freq    1      1             2           5                26              1

        Payload Mass (kg)    Orbit     Customer         Mission Outcome  Landing Outcome
_______________________________________________________________________________________________________
count   53                   55        55               55               55
unique  47                   8         28               2                12
top     9,600                GTO       NASA (CRS)       Success          No attempt
freq    5                    22        14               54               18

Визуализируйте!

количество запусков SpaceX

Задавайте больше вопросов!

запуски SpaceX по площадкам

Задавайте больше вопросов!

запуски SpaceX по результату миссии

Выбросы

гистограмма массы полезной нагрузки SpaceX

Давайте потренируемся!

Понимание науки о данных