Що таке очищення й підготовка даних?

Підготовка даних в Alteryx

Deanna Sanchez

Alteryx ACE and Owner, Nova Geographica LLC

Чому важливі чисті дані?

GIGO: «Сміття на вході — сміття на виході»

  • Очищення й підготовка даних дають змогу:
    • Уникати помилок і запобігати збоям
    • Уніфікувати дані й формати
    • Підвищити продуктивність
    • Прискорити отримання інсайтів

Зображення: сміття заходить у базу даних і сміття виходить

Підготовка даних в Alteryx

Очищення даних — це як...

Як техогляд авто — Оптимізація авто з чистими компонентами та свіжими рідинами підвищує ефективність.

 

Зображення механіка, що проводить техогляд авто

Підготовка даних в Alteryx

Приклади «брудних» даних

  • Пропущені або неповні дані

Таблиця даних із підсвіткою пропусків, напр. порожні клітинки

Підготовка даних в Alteryx

Приклади «брудних» даних

  • Пропущені або неповні дані
  • Неуніфіковані чи несумісні дані

Таблиця з підсвіткою несумісних даних, напр. верхній регістр змішано з «Title Case»

Підготовка даних в Alteryx

Приклади «брудних» даних

  • Пропущені або неповні дані
  • Неуніфіковані чи несумісні дані
  • Помилки під час введення даних

Таблиця з підсвіткою помилок введення, напр. забагато цифр

Підготовка даних в Alteryx

Приклади «брудних» даних

  • Пропущені або неповні дані
  • Неуніфіковані чи несумісні дані
  • Помилки під час введення даних
  • Початкові/кінцеві пробіли та зайві символи чи пунктуація

Таблиця з підсвіткою зайвої пунктуації, напр. знак $ у числових даних

Підготовка даних в Alteryx

Прийоми очищення даних

Керування пропущеними даними

  • Позначайте пропуски шляхом імпутації, наприклад:
    • Перетворюйте null на порожні рядки для рядкових типів
    • Імпутуйте null як 0 для числових типів
  • Фільтруйте пропуски з потоку даних

Зображення аналітиків, що очищують файли даних лупою й мітлою

Підготовка даних в Alteryx

Прийоми очищення даних

Уніфікація даних

  • Забезпечуйте форматування
    • Додавайте $ до валют
    • 000123456
  • Перевіряйте правила імен для полів і файлів
    • "filename_01012004.csv"
  • Змінюйте регістр даних у полі
    • LOCATION
  • Змінюйте типи даних

Зображення аналітика, що розкладає дані по належних теках

Підготовка даних в Alteryx

Прийоми очищення даних

Вилучайте зайве

  • Початкові/кінцеві пробіли
  • Табуляції та розриви рядків
  • Непотрібні рядки або стовпці
  • Зайву пунктуацію, літери й цифри

Зображення будівельників, що «очищують» файли даних

Підготовка даних в Alteryx

Профіль із кольоровим кодуванням

Кольорове кодування у вікні Results та в Profile підказує, які прийоми очищення застосувати.

  • Зелене = OK

Профіль кольору OK

Підготовка даних в Alteryx

Профіль із кольоровим кодуванням

Кольорове кодування у вікні Results та в Profile підказує, які прийоми очищення застосувати.

  • Зелене = OK
  • Біле = Unique

Профілі кольорів OK і Unique

Підготовка даних в Alteryx

Профіль із кольоровим кодуванням

Кольорове кодування у вікні Results та в Profile підказує, які прийоми очищення застосувати.

  • Зелене = OK
  • Біле = Unique
  • Жовте = Null

Профілі кольорів OK, Unique і Null

Підготовка даних в Alteryx

Профіль із кольоровим кодуванням

Кольорове кодування у вікні Results та в Profile підказує, які прийоми очищення застосувати.

  • Зелене = OK
  • Біле = Unique
  • Жовте = Null
  • Червоне = Not OK (напр., кінцеві пробіли)

Профілі кольорів OK, Unique, Null і Not OK

Підготовка даних в Alteryx

Профіль із кольоровим кодуванням

Кольорове кодування у вікні Results та в Profile підказує, які прийоми очищення застосувати.

  • Зелене = OK
  • Біле = Unique
  • Жовте = Null
  • Червоне = Not OK (напр., кінцеві пробіли)
  • Сіре = Empty

Усі профілі кольорів

Підготовка даних в Alteryx

Типи даних в Alteryx

Таблиця з відображенням типу даних Boolean

  • Важливо знати різні типи даних
    • Коли й як їх використовувати
  • П'ять основних категорій даних
    • Boolean — бінарні формати
Підготовка даних в Alteryx

Типи даних в Alteryx

Таблиця з відображенням Boolean і Numeric

  • Важливо знати різні типи даних
    • Коли й як їх використовувати
  • П'ять основних категорій даних
    • Boolean — бінарні формати
    • Numeric — числові дані, включно з Double
Підготовка даних в Alteryx

Типи даних в Alteryx

Таблиця з відображенням Boolean, Numeric і String

  • Важливо знати різні типи даних
    • Коли й як їх використовувати
  • П'ять основних категорій даних
    • Boolean — бінарні формати
    • Numeric — числові дані, включно з Double
    • String — текстові дані
1 String, що охоплює типи від String до V_W String.
Підготовка даних в Alteryx

Типи даних в Alteryx

Таблиця з чотирма типами даних — Boolean, Numeric, String і DateTime

  • Важливо знати різні типи даних
    • Коли й як їх використовувати
  • П'ять основних категорій даних
    • Boolean — бінарні формати
    • Numeric — числові дані, включно з Double
    • String — текстові дані
    • DateTime — дата й час
Підготовка даних в Alteryx

Типи даних в Alteryx

Таблиця з усіма п'ятьма основними типами даних

  • Важливо знати різні типи даних
    • Коли й як їх використовувати
  • П'ять основних категорій даних
    • Boolean — бінарні формати
    • Numeric — числові дані, включно з Double
    • String — текстові дані
    • DateTime — дата й час
    • Spatial — просторові об'єкти й точки
Підготовка даних в Alteryx

Деталі набору даних

  • Практичні вправи в Alteryx:
    • Продажі нерухомості Нью-Йорка
    • Один набір даних для всіх вправ
    • Аналіз найвищих продажів

Зображення силуету Нью-Йорка

Підготовка даних в Alteryx

Давайте потренуємось!

Підготовка даних в Alteryx

Preparing Video For Download...