Pipa Data

Konsep DevOps

Cem Sakarya

DevOps Risk Advisor

Pipa data

Microservice berkomunikasi lewat API dan berinteraksi dengan database independen melalui pipa data. Pipa data disorot.

Konsep DevOps

ETL

Extract; Transform; Load

1 https://www.istockphoto.com/nl/vector/data-extract-transform-load-gm1361894912-434102842?phrase=ETL
Konsep DevOps

Pemrosesan batch

Pipa Data Batch memproses data dari sebuah microservice, melakukan operasi, lalu memuatnya ke database independen.

  • Pindahkan data offline per batch
  • Pemrosesan batch: data dalam jumlah besar
Konsep DevOps

Banyak pengguna terhubung ke backend secara bersamaan.

Konsep DevOps

Koneksi pengguna diambil ke backend oleh Ingestion API.

Konsep DevOps

Koneksi pengguna diarahkan ke berbagai microservice melalui pipa data streaming.

Konsep DevOps

Ringkasan

 

  • Data Engineering adalah bagian inti dari Infrastruktur Engineering
  • Pipa data adalah alat andal untuk menangani data
  • Batch diproses terjadwal; stream diproses terus-menerus
  • Batch cocok untuk data yang terakumulasi
  • Stream menangani data real-time
Konsep DevOps

Ayo berlatih!

Konsep DevOps

Preparing Video For Download...