Mengevaluasi solusi arsitektur data modern

Memahami Arsitektur Data Modern

Miller Trujillo

Senior Software Engineer

Ingestion

Solusi yang diusulkan dengan ingestion disorot

  • Pola tidak dapat diprediksi
  • Bagaimana jika kita menarik data?
    • Ekspose file
    • Network file system
Memahami Arsitektur Data Modern

Penyimpanan

Solusi yang diusulkan dengan penyimpanan disorot

  • Cloud storage itu:

    • lebih murah daripada data warehouse atau database
    • Fleksibel, dan menyediakan API yang dibutuhkan

  • BigQuery masih opsi?

    • Cukup murah
    • Tidak layak karena batasan saat loading

  • Kebijakan lifecycle untuk menekan biaya lebih jauh

Memahami Arsitektur Data Modern

Pemrosesan

Solusi yang diusulkan dengan pemrosesan streaming disorot

  • Dataflow, Dataproc (Spark), atau Data Fusion
  • Pola kedatangan tak terduga
  • Proses segera saat data tiba
  • Sederhana
  • Data temporal
  • Otomatiskan pembersihan dengan kebijakan lifecycle
  • Tidak perlu maintenance skema
Memahami Arsitektur Data Modern

Pemrosesan: Skor model

Solusi yang diusulkan dengan pemrosesan batch disorot

  • Kompleks untuk melacak semuanya
  • Lebih mudah dipelihara
  • Job sebelumnya menulis ke NoSQL DB, job ini melengkapi data
Memahami Arsitektur Data Modern

Menyajikan data

Solusi yang diusulkan dengan penyajian data disorot

  • BigQuery untuk analitik
  • NoSQL DB => Skalabilitas & fleksibilitas lebih mudah
Memahami Arsitektur Data Modern

Detail lainnya

  • Tata kelola, orkestrasi, keamanan, dll.
  • Perhalus platform dan kebutuhan
  • Memungkinkan pengelolaan yang lebih baik
  • Tidak ada solusi tunggal untuk semua!

Semua adalah trade-off

Memahami Arsitektur Data Modern

Ayo berlatih!

Memahami Arsitektur Data Modern

Preparing Video For Download...