Modern veri mimarisi çözümlerini değerlendirme

Modern Veri Mimarilerini Anlama

Miller Trujillo

Senior Software Engineer

Alım

Alım vurgulanmış önerilen çözüm

  • Öngörülemez kalıplar
  • Veriyi biz çekersek ne olur?
    • Dosyaları açığa çıkarın
    • Ağ dosya sistemi
Modern Veri Mimarilerini Anlama

Depolama

Depolama vurgulanmış önerilen çözüm

  • Bulut depolama:

    • veri ambarı veya veritabanlarından daha ucuz
    • Esnek ve gerekli API'leri sunar

  • BigQuery hâlâ seçenek mi?

    • Yeterince ucuz
    • Yükleme kısıtları nedeniyle uygun değil

  • Maliyetleri daha da düşürmek için yaşam döngüsü ilkeleri

Modern Veri Mimarilerini Anlama

İşleme

Akış işlemesi vurgulanmış önerilen çözüm

  • Dataflow, Dataproc (Spark) veya Data Fusion
  • Öngörülemez geliş kalıpları
  • Veri gelir gelmez işle
  • Sadelik
  • Geçici veri
  • Yaşam döngüsü ilkeleriyle temizliği otomatikleştirin
  • Şema bakımı gerekmez
Modern Veri Mimarilerini Anlama

İşleme: Model skorları

Toplu işlem vurgulanmış önerilen çözüm

  • Her şeyi takip etmek karmaşık
  • Bakımı daha kolay
  • Önceki iş NoSQL DB'ye yazabilir, bu iş veriyi tamamlar
Modern Veri Mimarilerini Anlama

Veri sunumu

Toplu işlem vurgulanmış önerilen çözüm

  • Analitik için BigQuery
  • NoSQL DB => Ölçeklenebilirlik ve esneklik daha kolay
Modern Veri Mimarilerini Anlama

Diğer bazı ayrıntılar

  • Yönetişim, orkestrasyon, güvenlik vb.
  • Platformu ve gereksinimleri daha da iyileştirin
  • Daha iyi yönetimi etkinleştirin
  • Tek beden herkese uymaz!

Her şey ödünleşimlerle ilgilidir

Modern Veri Mimarilerini Anlama

Hadi pratik yapalım!

Modern Veri Mimarilerini Anlama

Preparing Video For Download...