Поширені проблеми з даними

Вступ до Data Literacy

Anneleen Rummens

Data Scientist

«Брудні» дані

  • «Брудні» дані — це:

    • Некоректні
    • Неповні
    • Непослідовні

  • Спричинені людськими помилками, технічними збоями або процесом збирання даних

  • Принцип «сміття на вході — сміття на виході»: «брудні» дані ведуть до хибних висновків

Брудне вікно

Вступ до Data Literacy

Помилки в даних

  • Дані некоректні або непослідовні
  • Зазвичай через людську чи технічну помилку під час фіксації значення або формату
  • Як діяти:
    • Якщо відоме первісне значення чи правильний формат — виправте дані
    • Якщо невідоме — вилучіть дані

Пазл із хибною деталлю

Вступ до Data Literacy

Пропущені дані

  • Дані неповні
  • Проблемно, якщо:
    • Бракує багатьох точок даних
    • У пропусках є приховані закономірності
  • Як діяти:
    • Вилучення даних
    • Імпутація

Пазл із відсутньою деталлю

Вступ до Data Literacy

Зсув у даних

  • Суспільні упередження віддзеркалюються в даних як зсув даних
  • Це дає нерепрезентативні дані й результати
  • Важко виявити та усунути
  • Як діяти:
    • Якісний процес збирання даних
    • Усвідомлення упереджень у висновках
    • Пояснювані моделі ШІ

Сірий пазл із вилученими білими деталями

Вступ до Data Literacy

Очищення даних

  • Набір прийомів для подолання проблем із даними
  • Важливий етап підготовки перед будь-яким аналізом даних
  • Але не всі проблеми з даними повністю розвʼязні
  • Якийсь аналіз завжди можливий

Рука в рукавичці з розпилювачем

Вступ до Data Literacy

Давайте потренуємось!

Вступ до Data Literacy

Preparing Video For Download...