Contoh arsitektur data modern

Memahami Arsitektur Data Modern

Miller Trujillo

Senior Software Engineer

Arsitektur Lambda

• Arsitektur pemrosesan data
• Memungkinkan pemrosesan dataset skala besar
• Memungkinkan pemrosesan data real time
• Menggabungkan batch dan streaming
• 3 lapisan utama:
  • Lapisan batch
  • Lapisan kecepatan
  • Lapisan penyajian

Lapisan arsitektur Lambda: Batch

• Dataset induk
  • Data tak dapat diubah
  • Hanya tambah (append-only)
• Tampilan prahitung
• Rekening bank
  • Dataset induk: Daftar transaksi
  • Tampilan: Transaksi diterapkan untuk mendapat saldo
• Akurasi sempurna

Lapisan arsitektur Lambda: Kecepatan

• Job batch pada jadwal tertentu
• Ada kesenjangan antara data yang diketahui dan realitas
• Lapisan kecepatan menutup kesenjangan itu
• Akurasi tidak sempurna

Lapisan arsitektur Lambda: Penyajian

• Gabungkan tampilan batch dan real time
• Tampilan data terpadu

Kompleksitas arsitektur Lambda

• Dua lapisan menambah kompleksitas
• Logika, kode, algoritme terduplikasi
• Tumpukan ganda: batch dan streaming

Arsitektur Kappa

Lambda vs. Kappa

Aspek	Arsitektur Lambda	Arsitektur Kappa
Pemrosesan batch	Ada	Dengan memproses ulang sumber event
Pemrosesan stream	Ada	Ada
Kompleksitas	Lebih tinggi	Lebih rendah
Pemrosesan real time	Tertunda oleh lapisan batch	Langsung dan ramping
Use case	Analitik kompleks, data historis	Analitik real time, pemantauan real time

Ayo berlatih!

Memahami Arsitektur Data Modern