Veritabanları ve kalite kontrolleri

Karar Bilimini Anlama

Howard Friedman

Adjunct Professor at Columbia University

Veri kaynaklarını triyajlama

Tüm veriler eşit derecede yararlı değildir

  • Bazı veri setleri yoğun temizlik ister veya anlamlı özelliklerden yoksundur
  • Bazıları çabaya değmez

 

Veri triyajı hızlı önceliklendirme sağlar

  • Zaman ve kaynak harcamadan önce veri setinin uygunluğunu değerlendirin

Erişilebilirlikle başlayın

  • Veri kolay erişilebilir mi yoksa ücretli duvarın arkasında mı
  • İzin veya güvenlik engelleri var mı
  • Bunu erken çözmek boşuna çabayı önler

triage.png

Karar Bilimini Anlama

Temel kontroller

Maliyetleri düşünün

  • Lisans veya erişim ücretleri var mı
  • Depolama ya da özel araçlar için ödeme gerekecek mi

Kullanışlılığı değerlendirin

  • Veri seti analizinize gerekenleri içeriyor mu
  • Kapsam, ayrıntı, tamlık ve özellik uygunluğunu kontrol edin

Güncelleme sıklığını kontrol edin

  • Gerçek zamanlı tahminler gerçek zamanlı veya düzenli güncel veri ister
  • Uyumsuz güncelleme döngüleri veriyi işe yaramaz kılabilir

Coğrafi çözünürlüğü değerlendirin

  • Veri, analizinizin mekansal düzeyiyle uyumlu mu
  • Posta kodu düzeyi gerekiyorsa ulusal düzey yeterli olmaz
Karar Bilimini Anlama

Veri kalitesi kontrolleri

Veri kalitesi önemlidir

  • Kötü veri modelleri bozar ve kötü kararlara yol açar
  • "Çöp girerse çöp çıkar" karar biliminde gerçek bir risktir

GIGO.png

Eksikliklere dikkat edin

  • Her sütundaki eksik değer yüzdesi
  • Daha derin veri toplama sorunlarını ima eden örüntüler

Temel aralık kontrolleri yapın

  • Bağlamınıza uymayan değerler var mı
  • Örnekler: age = 450 veya price = -$10
  • Büyük sorunları erken işaretlemek için kontrolleri kullanın
Karar Bilimini Anlama

Diğer kontroller

Aykırı değerleri gözden geçirin

  • Görselleştirmek için histogram veya kutu grafiği kullanın
  • Hariç tutmadan önce paydaşlarla tartışın

Zamanlılığı değerlendirin

  • Veriniz yeterince güncel mi, sorun
  • Hızlı ortamlar sık güncellenen veri ister

Biçim tutarlılığını sağlayın

  • Tutarsız tarih biçimleri, yazım hataları, sütun adı uyumsuzluklarını arayın
  • Analizde sorun yaşamamak için temizleyin ve standartlaştırın

QA.png

Karar Bilimini Anlama

Hadi pratik yapalım!

Karar Bilimini Anlama

Preparing Video For Download...