Поиск закономерностей в пропущенных данных

Работа с пропущенными данными в Python

Suraj Donthi

Deep Learning & Computer Vision Consultant

Поиск корреляций между пропусками

  • Тепловая карта или карта корреляции пропусков
  • Дендрограмма пропусков
Работа с пропущенными данными в Python

Тепловая карта пропусков

  • График корреляции пропущенных значений между столбцами
  • Показывает зависимости пропусков между столбцами

Тепловая карта пропусков для набора данных о диабете

Работа с пропущенными данными в Python
import missingno as msno
diabetes = pd.read_csv('pima-indians-diabetes data.csv')

msno.heatmap(diabetes)

Тепловая карта пропусков для набора данных о диабете

Работа с пропущенными данными в Python

Дендрограмма пропусков

  • Древовидная диаграмма пропусков
  • Описывает корреляцию переменных путём их группировки
msno.dendrogram(diabetes)

Дендрограмма пропусков для набора данных о диабете

Работа с пропущенными данными в Python

Дендрограмма пропусков для набора данных о диабете

Работа с пропущенными данными в Python

Дендрограмма пропусков для набора данных о диабете

Работа с пропущенными данными в Python

Дендрограмма пропусков для набора данных о диабете

Работа с пропущенными данными в Python

Дендрограмма пропусков для набора данных о диабете

Работа с пропущенными данными в Python

Итоги

  • Анализ тепловой карты пропусков
      msno.heatmap(df)
    
  • Анализ дендрограммы пропусков
      msno.dendrogram(df)
    
Работа с пропущенными данными в Python

Давайте потренируемся!

Работа с пропущенными данными в Python

Preparing Video For Download...