Что такое очистка и подготовка данных?

Подготовка данных в Alteryx

Deanna Sanchez

Alteryx ACE and Owner, Nova Geographica LLC

Почему важны чистые данные?

GIGO: «Мусор на входе — мусор на выходе»

  • Очистка и подготовка данных позволяет:
    • Избежать ошибок и неточностей
    • Стандартизировать данные и форматы
    • Повысить производительность
    • Ускорить получение выводов

Изображение, на котором мусор поступает в базу данных и выходит из неё

Подготовка данных в Alteryx

Очистка данных — это как...

Техническое обслуживание автомобиля — замена компонентов и жидкостей улучшает его работу.

 

Изображение механика, проводящего техосмотр автомобиля

Подготовка данных в Alteryx

Примеры «грязных» данных

  • Отсутствующие или неполные данные

Таблица данных с выделенными пустыми ячейками

Подготовка данных в Alteryx

Примеры «грязных» данных

  • Отсутствующие или неполные данные
  • Нестандартизированные или противоречивые данные

Таблица данных с выделенными несоответствиями: данные в верхнем регистре смешаны с данными в формате заголовка

Подготовка данных в Alteryx

Примеры «грязных» данных

  • Отсутствующие или неполные данные
  • Нестандартизированные или противоречивые данные
  • Ошибки ввода данных

Таблица данных с выделенными ошибками ввода: лишние цифры в значениях

Подготовка данных в Alteryx

Примеры «грязных» данных

  • Отсутствующие или неполные данные
  • Нестандартизированные или противоречивые данные
  • Ошибки ввода данных
  • Начальные и конечные пробелы, лишние символы или знаки пунктуации

Таблица данных с выделенными лишними знаками пунктуации: знаки доллара перед числовыми значениями

Подготовка данных в Alteryx

Методы очистки данных

Работа с пропущенными данными

  • Обработайте пропуски, подставив значения, например:
    • Замените null на пустые строки для строковых типов данных
    • Замените null на 0 для числовых типов
  • Исключите записи с пропусками из потока данных

Иллюстрация аналитиков, очищающих файлы данных с помощью лупы и метлы

Подготовка данных в Alteryx

Методы очистки данных

Стандартизация данных

  • Обеспечьте единый формат
    • Добавьте $ к денежным значениям
    • 000123456
  • Проверьте соглашения об именовании полей и файлов
    • "filename_01012004.csv"
  • Приведите регистр значений в поле к нужному виду
    • LOCATION
  • Измените типы данных

Иллюстрация аналитика, раскладывающего данные по папкам

Подготовка данных в Alteryx

Методы очистки данных

Удаление лишних элементов

  • Начальные и конечные пробелы
  • Табуляции и переносы строк
  • Ненужные строки или столбцы
  • Лишние знаки пунктуации, буквы и цифры

Иллюстрация строительных рабочих, очищающих файлы данных

Подготовка данных в Alteryx

Профиль с цветовой кодировкой

Цветовая кодировка в окне результатов и профиле подсказывает, какие методы очистки применить.

  • Зелёный = ОК

Цветовой профиль «ОК»

Подготовка данных в Alteryx

Профиль с цветовой кодировкой

Цветовая кодировка в окне результатов и профиле подсказывает, какие методы очистки применить.

  • Зелёный = ОК
  • Белый = Уникальное

Цветовые профили «ОК» и «Уникальное»

Подготовка данных в Alteryx

Профиль с цветовой кодировкой

Цветовая кодировка в окне результатов и профиле подсказывает, какие методы очистки применить.

  • Зелёный = ОК
  • Белый = Уникальное
  • Жёлтый = Null

Цветовые профили «ОК», «Уникальное» и «Null»

Подготовка данных в Alteryx

Профиль с цветовой кодировкой

Цветовая кодировка в окне результатов и профиле подсказывает, какие методы очистки применить.

  • Зелёный = ОК
  • Белый = Уникальное
  • Жёлтый = Null
  • Красный = Не ОК (например, конечные пробелы)

Цветовые профили «ОК», «Уникальное», «Null» и «Не ОК»

Подготовка данных в Alteryx

Профиль с цветовой кодировкой

Цветовая кодировка в окне результатов и профиле подсказывает, какие методы очистки применить.

  • Зелёный = ОК
  • Белый = Уникальное
  • Жёлтый = Null
  • Красный = Не ОК (например, конечные пробелы)
  • Серый = Пусто

Все цветовые профили

Подготовка данных в Alteryx

Типы данных в Alteryx

Таблица с отображением типа данных Boolean

  • Важно знать различные типы данных
    • Как и когда применять
  • Пять основных категорий данных
    • Boolean — двоичные форматы
Подготовка данных в Alteryx

Типы данных в Alteryx

Таблица с отображением типов данных Boolean и Numeric

  • Важно знать различные типы данных
    • Как и когда применять
  • Пять основных категорий данных
    • Boolean — двоичные форматы
    • Numeric — числовые данные, включая Double
Подготовка данных в Alteryx

Типы данных в Alteryx

Таблица с отображением типов данных Boolean, Numeric и String

  • Важно знать различные типы данных
    • Как и когда применять
  • Пять основных категорий данных
    • Boolean — двоичные форматы
    • Numeric — числовые данные, включая Double
    • String — текстовые данные
1 String — диапазон типов от String до V_W String.
Подготовка данных в Alteryx

Типы данных в Alteryx

Таблица с четырьмя типами данных: Boolean, Numeric, String и DateTime

  • Важно знать различные типы данных
    • Как и когда применять
  • Пять основных категорий данных
    • Boolean — двоичные форматы
    • Numeric — числовые данные, включая Double
    • String — текстовые данные
    • DateTime — данные дат и времени
Подготовка данных в Alteryx

Типы данных в Alteryx

Таблица со всеми пятью основными типами данных

  • Важно знать различные типы данных
    • Как и когда применять
  • Пять основных категорий данных
    • Boolean — двоичные форматы
    • Numeric — числовые данные, включая Double
    • String — текстовые данные
    • DateTime — данные дат и времени
    • Spatial — пространственные объекты и точки
Подготовка данных в Alteryx

Описание набора данных

  • Практические упражнения в Alteryx:
    • Продажи недвижимости в Нью-Йорке
    • Один набор данных для всех упражнений
    • Анализ крупнейших сделок

Фотография горизонта Нью-Йорка

Подготовка данных в Alteryx

Давайте потренируемся!

Подготовка данных в Alteryx

Preparing Video For Download...