Разведочный анализ данных

Сквозное машинное обучение

Joshua Stapleton

Machine Learning Engineer

Процесс разведочного анализа данных

Диаграмма, показывающая компоненты разведочного анализа данных применительно к набору данных о сердечных заболеваниях

df.head()

# Print the first 5 rows
print(heart_disease_df.head())

Первые 5 строк DataFrame о сердечных заболеваниях. Результат вызова df.head().

df.info()

# Print out details
print(heart_disease_df.info())

Сводная информация о DataFrame о сердечных заболеваниях. Результат вызова df.info().

df.value_counts()

# print the class balance
print(heart_disease_df['target'].value_counts(normalize=True))

Баланс классов в целевом столбце DataFrame о сердечных заболеваниях. Результат вызова .value_counts() на целевом столбце.

Используйте df.isnull()

Использование

# check whether all values in a column are null
print(heart_disease_df['oldpeak'].isnull().all())

True

Аномальные значения
- Ошибки измерения
- Ошибки ввода данных
- Редкие события
Могут искажать качество модели
- Модель обучается на экстремальных значениях
- Не отражает общую тенденцию в данных
Иногда могут быть полезны:
- Редкие значения
- Обнаружение: используйте boxplot или IQR

Визуализация выброса.

Визуализации показывают:

Другие виды визуализаций:

df['age'].plot(kind='hist')
plt.xlabel('Age')
plt.ylabel('Frequency')
plt.show()

Визуализация распределения возраста в наборе данных.

¹ https://seaborn.pydata.org/tutorial/distributions.html, https://app.datacamp.com/learn/courses/intermediate-data-visualization-with-seaborn

Понять данные

Выявить выбросы

Сформулировать гипотезы

Проверить допущения

Сквозное машинное обучение