Modern bir veri mimarisi tasarlamak

Modern Veri Mimarilerini Anlama

Miller Trujillo

Senior Software Engineer

İş vakası

Tıbbi laboratuvar

  • Organizatör robot
  • CSV üret
    • Saatte en fazla 4 CSV
  • Düz dosyalarda veritabanları

İş vakası akışı

  • Hastaların sonuçlarını takip edeceği platform
  • Sonuçları hastaların kendi incelemeleriyle zenginleştir
Modern Veri Mimarilerini Anlama

Nereden başlamalı?

Sorular!

Gereksinimleri netleştirin!

  • Dosyalar ne kadar büyük?
  • Kaç robot var?
  • Bu dosyalar hangi sıklıkta üretiliyor?
  • Kaç dosyaları var?
  • Veriler nasıl işlenecek? Makine öğrenimi? Sorgular?
  • Veriler nasıl sunulacak?
  • Hangi düzenlemeler/kısıtlar var?
Modern Veri Mimarilerini Anlama

Varsayımlar

  • 100 makine
  • Her CSV yaklaşık 100 MB
  • Veritabanı olarak düz dosyalar
  • Her düz dosya onlarca GB
  • API ile sunulan model
    • Tüm önceki sonuçlar veya özet gerekir
    • Özet sürekli güncellenmelidir
  • Mobil uygulama
  • Düzenlemeleri yok sayın
Modern Veri Mimarilerini Anlama

Çözüm

Önerilen çözüm

Modern Veri Mimarilerini Anlama

Haydi pratik yapalım!

Modern Veri Mimarilerini Anlama

Preparing Video For Download...