Mengoptimalkan Kinerja Dataflow

Ingesti Data dan Model Semantik dengan Microsoft Fabric

Alex Kuntz

Head of Cloud Curriculum, DataCamp

Staging di Dataflows Gen2

Menampung data sementara saat transformasi untuk mengoptimalkan kinerja

Artefak Staging:
- Penyimpanan Lakehouse internal tersembunyi saat transformasi data
- Dikelola otomatis oleh Dataflows; bukan untuk akses langsung pengguna
Kapan Menggunakan Staging:
- Aktif bawaan untuk meningkatkan kinerja endpoint SQL
- Nonaktif untuk pemuatan langsung ke Lakehouse dan non-warehouse (dapat diaktifkan lagi)
Menghapus Data Staging:
- Nonaktifkan staging dan lakukan refresh (dibersihkan setelah 30 hari)
- Hapus dataflow atau workspace untuk menghapus segera

Fitur ingest data berkecepatan tinggi yang skala untuk menangani dataset besar secara efisien

Arsitektur: Mendistribusikan ulang beban berat dari Power Query ke pipeline berkinerja tinggi untuk pemrosesan lebih cepat
Manfaat: Meminimalkan waktu proses dengan memanfaatkan sumber daya backend yang dapat diskalakan untuk data besar

Arsitektur Fast Copy DataFlows Gen2

Prasyarat:

File: 100 MB+ (CSV/Parquet)
Database: 5M+ baris (Azure SQL DB, PostgreSQL)
Konektor Didukung: ADLS Gen2, Blob Storage, SQL DB, Lakehouse, PostgreSQL, SQL Server Lokal, Warehouse, Oracle
Transformasi Didukung: Gabungkan file, Pilih kolom, Ubah tipe data, Ganti nama/Hapus kolom

Opsi Wajib Fast Copy:

Buat Dataflow mandiri untuk tujuan data tertentu (Lakehouse, Warehouse, atau KQL Database).
Pengaturan tujuan data preset diterapkan otomatis, mempercepat pengembangan!

Perilaku Preset: Berikut adalah perilaku default dan tidak dapat diubah

Tujuan Data Default di Dataflows Gen2

Ingesti Data dan Model Semantik dengan Microsoft Fabric