Pemrosesan Data di Azure

Memahami Microsoft Azure

Kevin James

Technical Lead and Training Architect

Pemrosesan Real-time vs Batch

• Tentukan jenis pemrosesan sebelum memilih layanan: real-time atau batch.
• Real-time: Analitik segera
• Batch: Analitik terjadwal atau ad-hoc

Pemrosesan Real-time vs Batch

• Tentukan jenis pemrosesan sebelum memilih layanan
• Real-time: Analitik segera
• Batch: Analitik terjadwal atau ad-hoc
• Contoh di kesehatan:
  • Real-time - dasbor IGD rumah sakit
  • Batch - dasbor mingguan
• Dampak infrastruktur dan biaya berbeda

Proses ETL

Proses ETL

Proses ETL

Alat pemrosesan

Azure Synapse Analytics

• Bagian dari Microsoft Fabric
  • mengintegrasikan big data dan gudang data
• Pengalaman terpadu untuk ingest, siapkan, kelola, dan sajikan data
• Mendukung insight real-time dan batch
• Mesin analitik bertenaga tinggi

Azure Stream Analytics

• Memungkinkan akses data real-time
• Analitik real-time dengan definisi kueri yang mudah
• Menangani streaming dari beragam input seperti blob storage
• Penting untuk insight segera:
  • deteksi penipuan di bank
  • penetapan harga dinamis di pasar saham

Azure Databricks

• Kolaborasi Microsoft–Databricks
  • Platform analitik yang dioptimalkan untuk Azure
• Lingkungan terpadu untuk rekayasa data, analitik, dan machine learning
• Ruang kerja kolaboratif untuk data scientist dan engineer
• Dukungan bawaan untuk Data Lake
• Real-time dan batch

Azure Data Factory

• Layanan integrasi berbasis cloud
• Membuat, menjadwalkan, mengorkestrasi alur kerja data
• Menyederhanakan proses ETL
• Menangani beragam sumber dan format data
• Mengotomatisasi alur kerja untuk fleksibilitas

Azure HDInsight

• Layanan terkelola untuk pemrosesan data cepat dan dapat dikustomisasi
• Berjalan di platform open-source populer:
  • Hadoop
  • Spark
  • Kafka
• Skalakan sumber daya sesuai permintaan
• Terhubung mulus dengan solusi penyimpanan Azure

Ayo berlatih!

Memahami Microsoft Azure