Работа с пропущенными данными

Практика вопросов интервью по машинному обучению на Python

Lisa Stuart

Data Scientist

Предварительные требования

Глава 1: Предобработка и визуализация
- Пропущенные данные, выбросы, нормализация
Глава 2: Обучение с учителем
- Отбор признаков, регуляризация, инженерия признаков
Глава 3: Обучение без учителя
- Выбор алгоритма кластеризации, извлечение признаков, снижение размерности
Глава 4: Выбор и оценка модели
- Обобщение и оценка модели, выбор модели

Обзор пайплайна

Пайплайн

Удаление
- Удаление строк --> .dropna(axis=0)
- Удаление столбцов --> .dropna(axis=1)
Импутация
- Заполнение нулём --> SimpleImputer(strategy='constant', fill_value=0)
- Среднее значение -> SimpleImputer(strategy='mean')
- Медиана --> SimpleImputer(strategy='median')
- Мода --> SimpleImputer(strategy='most_frequent')
- Итеративная импутация --> IterativeImputer()

Зависит от:
- Доли пропущенных значений
- Исходной дисперсии
- Наличия выбросов
- Величины и направления асимметрии
Удаление --> Может убрать слишком много данных
Ноль --> Смещает результаты вниз
Среднее --> Сильнее подвержено влиянию выбросов
Медиана --> Лучше при наличии выбросов
Мода и итеративная импутация --> Стоит попробовать

Функция	возвращает
`df.isna().sum()`	количество пропущенных
`df['feature'].mean()`	среднее по признаку
`.shape`	размерность: строки, столбцы
`df.columns`	имена столбцов
`.fillna(0)`	заполняет пропуски нулём
`select_dtypes(include = [np.number] )`	числовые столбцы
`select_dtypes(include = ['object'] )`	строковые столбцы
`.fit_transform(numeric_cols)`	обучает и преобразует

Какое влияние оказывают пропущенные значения в задачах машинного обучения (МО)? Выберите верное утверждение:

Пропущенные значения не являются проблемой, поскольку большинство алгоритмов sklearn умеют с ними работать.
Удаление наблюдений или признаков с пропущенными значениями — как правило, хорошее решение.
Пропущенные данные вносят смещение и приводят к искажённым результатам, поэтому их нельзя игнорировать.
Заполнение пропущенных значений нулём смещает результаты вверх.

Какое влияние оказывают пропущенные значения в задачах машинного обучения (МО)? Правильный ответ:

Пропущенные данные вносят смещение и приводят к искажённым результатам, поэтому их нельзя игнорировать. (Оптимальный подход — проверить, какой метод заполнения минимально влияет на дисперсию набора данных.)

Какое влияние оказывают пропущенные значения в задачах машинного обучения (МО)?

Пропущенные значения не являются проблемой... (Большинство алгоритмов sklearn не умеют работать с пропущенными значениями и вернут ошибку.)
Удаление наблюдений или признаков с пропущенными значениями... (Если набор данных невелик или доля пропусков значительна, удаление строк или столбцов чрезмерно уменьшит объём данных и снизит их ценность для МО.)
Заполнение пропущенных значений нулём смещает результаты вверх. (Всё наоборот: заполнение нулём смещает результаты вниз.)

Практика вопросов интервью по машинному обучению на Python