Pemasukan Data

Memahami Arsitektur Data Modern

Miller Trujillo

Senior Software Engineer

Apa itu pemasukan data?

Kebutuhan fungsional
Fungsional dapat dipengaruhi analitik

Arsitektur big data umum mencakup sumber data, pemasukan, penyimpanan, pemrosesan, orkestrasi, tata kelola, penyajian, serta penyimpanan analitik dan pelaporan

Pemasukan batch

Terjadwal untuk mengambil data berkala
Disalin ke platform kita untuk analitik
Baca semua data vs hanya yang baru bagi kita
Dataset besar perlu dibaca sebagian
Dataset kecil bisa ditimpa

Batch: Ambil hanya yang berubah

Sumber daya tak terbatas itu mustahil
Masukkan hanya yang berubah
Gunakan timestamp pembaruan atau flag
Keadaan data terbaru
Penghapusan perlu flag atau konsolidasi

Pemasukan streaming

Model push
Antrian event
Komputasi 24/7
Zona pendaratan

Alur kerja pemasukan streaming

Ayo berlatih!

Memahami Arsitektur Data Modern