Rekayasa Data di Microsoft Fabric

Transformasi dan Analisis Data dengan Microsoft Fabric

Luis Silva

Solution Architect - Data & AI

Analitik Data End-to-End

Diagram yang menunjukkan komponen solusi analitik data end-to-end, termasuk sumber data, ingest, persiapan dan transformasi, penyimpanan, kueri, serta visualisasi dan analisis

Ingest data dari sumber dan simpan di data lake
Siapkan dan transformasikan data
Visualisasikan dan analisis data

Data Factory

Diagram yang menunjukkan komponen solusi analitik data end-to-end, menyoroti Data Pipeline pada komponen Ingest dan Dataflow pada komponen Prepare and Transform

Ingest, siapkan, dan transformasikan data
Dataflow dan Data Pipeline

Dataflow

Antarmuka low-code untuk ingest dan transformasi data
Mesin transformasi Power Query

Tangkapan layar perancang Dataflow yang menampilkan contoh dataflow ingest

Data Pipeline

Kumpulan aktivitas untuk menjalankan tugas
Jenis aktivitas:
- Pemindahan data (Copy activity, Dataflow)
- Transformasi data (Notebook, Stored Procedure, Script)
- Kontrol (Switch, If, ForEach, Wait)

Tangkapan layar perancang Data Pipeline yang menampilkan contoh pipeline ingest dengan aktivitas Copy dan aktivitas Dataflow

Synapse Data Engineering

Diagram yang menunjukkan komponen solusi analitik data end-to-end, menyoroti item Lakehouse pada komponen Store, serta Notebook dan Spark job pada komponen Prepare and Transform

Lakehouse
Notebook
Definisi Apache Spark Job

Lakehouse

Data terstruktur (tabel)
Data tidak terstruktur (file)

Tangkapan layar Lakehouse Explorer di portal Fabric, menampilkan Lakehouse berisi Tables dan Files

Notebook

Antarmuka web interaktif
- Kode manipulasi data
- Visualisasi data
- Komentar / Penjelasan
Dukungan multi-bahasa:
- PySpark (Python)
- Spark (Scala)
- Spark SQL (SQL)
- SparkR (R)

Tangkapan layar editor Notebook yang menampilkan contoh notebook berisi deskripsi teks, kode Python, dan bagan histogram

Definisi Apache Spark Job

Kirim job batch/streaming ke kluster Spark
Alternatif atau pelengkap Notebook:
- Notebook untuk eksplorasi data, prototyping, dan pengembangan kolaboratif
- Spark Job Definition untuk otomatisasi kode pemrosesan data siap produksi

Tangkapan layar definisi Spark Job yang menampilkan parameter konfigurasi

Synapse Data Warehouse

Diagram yang menunjukkan komponen solusi analitik data end-to-end, menyoroti item Warehouse pada komponen Store

Berperilaku seperti gudang data relasional tradisional
Menyimpan data di OneLake dengan format terbuka Delta Lake
Memungkinkan interoperabilitas dengan beban kerja Fabric lain
Tidak perlu membuat banyak salinan data

Memilih Penyimpanan Data

Lakehouse
- Data tidak terstruktur (file)
- Spark sebagai antarmuka pengembangan utama

Warehouse
- Data terstruktur (tabel)
- T-SQL sebagai antarmuka pengembangan utama

Memilih Alat Penyalinan Data

Tabel yang merangkum aspek saat memilih antara Pipeline Copy Activity, Dataflow, dan Spark. Aspek mencakup jumlah kode yang diperlukan, keterampilan pengembang, sumber data, dan kompleksitas transformasi

Memilih Alat Penyalinan Data

Ayo berlatih!

Transformasi dan Analisis Data dengan Microsoft Fabric