Етап перевірки: якість даних

ШІ для дата-аналітиків

Andy Cotgreave

Author and Speaker, Former Technical Evangelist at Tableau

Типові підозрювані

Проблеми з якістю даних

ШІ для дата-аналітиків

Складніші проблеми, які розблоковує ШІ

Проблеми якості даних, які відкриває ШІ

ШІ для дата-аналітиків

Нечіткі дублікати

 

  • Традиційний підхід: вручну створювати правила, підтримувати безкінечно
  • ШІ: пише логіку зіставлення та додає семантичне розуміння

 

  • Вивід → запит або групування, яке можна прочитати й змінити

Нечіткі дублікати

ШІ для дата-аналітиків

Порушення часової послідовності

Порушення порядку в часі

  • Традиційний підхід: писати SQL для порівняння часових міток
  • ШІ: опишіть, чого не має статися → ШІ пише запит
ШІ для дата-аналітиків

Логічні неузгодженості

Логічні неузгодженості

 

  • Традиційний підхід: довідкові таблиці — їх треба підтримувати
  • ШІ: світові знання, довідкові дані не потрібні
ШІ для дата-аналітиків

Перевіряйте роботу ШІ

 

  • ШІ — не магія, він генерує запити, код або правила
  • Це може бути неправильно: поганий regex, вигадане бізнес-правило

Перевірка роботи ШІ

ШІ для дата-аналітиків

Виправлення проблем

Очищення даних 1

Очищення даних 2

ШІ для дата-аналітиків

Давайте потренуємось!

ШІ для дата-аналітиків

Preparing Video For Download...