Pengantar Fabric Data Pipelines

Ingesti Data dan Model Semantik dengan Microsoft Fabric

Alex Kuntz

Head of Cloud Curriculum, DataCamp

Data Pipelines di Microsoft Fabric

Dua fitur utama tingkat tinggi di Data Factory:

  1. Data Pipelines - Mengorkestrasi perpindahan data. Data Pipelines
  2. Dataflows - mendukung 300+ transformasi data berbasis UI. Dataflows

Data Pipelines di Microsoft Fabric:

  • Mengotomatisasi ETL dengan sedikit atau tanpa kode.
  • Mendukung integrasi mulus berbagai sumber data
  • Kumpulan aktivitas kaya untuk ingestion dan transformasi data
  • Jalankan pipeline manual atau jadwalkan dengan trigger
1 https://learn.microsoft.com/en-us/fabric/data-factory/data-factory-overview
Ingesti Data dan Model Semantik dengan Microsoft Fabric

Aktivitas dalam Data Pipelines

Aktivitas adalah tugas dalam Pipeline yang mengorkestrasi pemrosesan data dan otomatisasi alur kerja. Lini perakitan mobil yang menggambarkan aktivitas dalam data pipeline

1 https://learn.microsoft.com/en-us/fabric/data-factory/activity-overview
Ingesti Data dan Model Semantik dengan Microsoft Fabric

Jenis Aktivitas

  1. Move & Transform:
    • Menangani transfer dan transformasi data
    • (mis., Copy data Copy data).
  2. Metadata & Validation:
    • Mengelola pengecekan kualitas dan pengambilan metadata.
    • (mis., LookupLookup).
  3. Control Flow:
    • Mengatur urutan tugas berdasar kondisi dan loop.
    • (mis., If condition If condition, ForEach If condition).
1 https://learn.microsoft.com/en-us/fabric/data-factory/activity-overview
Ingesti Data dan Model Semantik dengan Microsoft Fabric

Jenis Aktivitas

  1. Orchestrate:

    • Sinkronkan banyak proses
    • (mis., Invoke Pipeline Invoke Pipeline).

  2. Notifikasi:

    • Mengirim peringatan dan pembaruan via email atau alat pesan
    • (mis., 365 Outlook365 Outlook, TeamsTeams).

  3. Transform:

    • Jalankan manipulasi data sesuai logika bisnis.
    • (mis., NotebookNotebook, Stored ProcedureStored Procedure).
Ingesti Data dan Model Semantik dengan Microsoft Fabric

Parameter dan Variabel Pipeline

Parameter dan Variabel membantu mengontrol dan mengelola perilaku pipeline secara dinamis.

Parameters:

  • Diatur saat runtime: Sesuaikan perilaku pipeline dengan input eksternal.
  • Cakupan global: Mempengaruhi seluruh eksekusi pipeline.

Variables:

  • Pelacakan dinamis: Nilai dapat berubah saat eksekusi pipeline.
  • Cakupan lokal: Kelola data dalam aktivitas pipeline tertentu.
1 https://learn.microsoft.com/en-us/fabric/data-factory/parameters 2 https://learn.microsoft.com/en-us/fabric/data-factory/set-variable-activity
Ingesti Data dan Model Semantik dengan Microsoft Fabric

Pipeline run

Satu run pipeline mengeksekusi semua aktivitas sampai selesai.

  • On-Demand: Mulai pipeline langsung dari Fabric UI. On-Demand Run
  • Terjadwal: Menjalankan pada frekuensi tertentu. Scheduled Run

Monitoring:

  • Lacak dan tinjau tiap run menggunakan Run ID di tab Monitor.

Validasi:

  • Pastikan konfigurasi benar dengan opsi Validate sebelum eksekusi.
1 https://learn.microsoft.com/en-us/fabric/data-factory/pipeline-runs
Ingesti Data dan Model Semantik dengan Microsoft Fabric

Ayo berlatih!

Ingesti Data dan Model Semantik dengan Microsoft Fabric

Preparing Video For Download...