Бази даних і перевірки якості

Розкриваємо суть Decision Science

Howard Friedman

Adjunct Professor at Columbia University

Пріоритезація джерел даних

Не всі дані однаково корисні

  • Деякі набори потребують значного чищення або не мають змістовних ознак
  • Інші взагалі не варті зусиль

 

Сортування даних допомагає швидко пріоритезувати

  • Оцініть життєздатність набору даних до витрат часу й ресурсів

Почніть із доступності

  • Дані легко дістати чи вони за paywall
  • Чи є барʼєри дозволів або безпеки
  • Раннє врегулювання цього вбереже від марних зусиль

triage.png

Розкриваємо суть Decision Science

Ключові перевірки

Врахуйте витрати

  • Чи є ліцензійні або платіжні збори за доступ
  • Чи доведеться платити за зберігання або спеціальні інструменти

Оцініть придатність

  • Чи містить набір даних усе потрібне для аналізу
  • Перевірте охоплення, деталізацію, повноту та релевантність ознак

Перевірте частоту оновлень

  • Для прогнозів у реальному часі потрібні дані в реальному часі або з регулярними оновленнями
  • Невідповідні цикли оновлень роблять дані непридатними

Оцініть географічну роздільність

  • Чи відповідають дані просторовому рівню, потрібному для аналізу
  • Дані на національному рівні не допоможуть, якщо потрібна деталізація за ZIP-кодом
Розкриваємо суть Decision Science

Перевірки якості даних

Якість даних має значення

  • Погані дані псують моделі й призводять до хибних рішень
  • «Сміття на вході — сміття на виході» — реальний ризик у науці про рішення

GIGO.png

Стежте за пропусками

  • Частка пропущених значень у кожному стовпці
  • Шаблони, що вказують на глибші проблеми збору даних

Зробіть базові діапазонні перевірки

  • Чи є значення, що не мають сенсу у вашому контексті
  • Приклади: age = 450 або price = -$10
  • Використайте перевірки, щоб рано позначити великі проблеми
Розкриваємо суть Decision Science

Додаткові перевірки

Перегляньте викиди

  • Використайте гістограми або коробкові діаграми для візуалізації
  • Обговоріть зі стейкґолдерами перед виключенням чогось

Оцініть актуальність

  • Перевірте, чи ваші дані достатньо свіжі, щоб бути релевантними
  • Динамічні сфери потребують частих оновлень даних

Забезпечте узгодженість форматів

  • Шукайте різні формати дат, орфографічні огріхи чи невідповідні назви стовпців
  • Очистіть і стандартизуйте, щоб уникнути проблем в аналізі

QA.png

Розкриваємо суть Decision Science

Давайте потренуємось!

Розкриваємо суть Decision Science

Preparing Video For Download...