Menerapkan peningkatan kinerja

Transformasi dan Analisis Data dengan Microsoft Fabric

Luis Silva

Solution Architect - Data & AI

Strategi optimalisasi

Optimalkan desain item Fabric
Scale up
Scale out

Mengoptimalkan SQL

Batasi kueri hanya pada kolom dan operasi yang diperlukan

Contoh pernyataan SQL SELECT yang dipangkas dari memilih semua kolom menjadi hanya kolom tertentu

Mengoptimalkan SQL

Batasi kueri hanya pada kolom dan operasi yang diperlukan
Gunakan tipe data sekecil mungkin

Contoh pernyataan CREATE TABLE di mana tipe data kolom numerik diubah dari BIGINT ke INT

Mengoptimalkan SQL

Batasi kueri hanya pada kolom dan operasi yang diperlukan
Gunakan tipe data sekecil mungkin
Gunakan desain skema bintang

Mengoptimalkan SQL

Batasi kueri hanya pada kolom dan operasi yang diperlukan
Gunakan tipe data sekecil mungkin
Gunakan desain skema bintang
Gunakan tampilan sistem untuk memantau penggunaan kueri

SELECT *
FROM sys.dm_exec_requests;

Mengoptimalkan Notebook

Manfaatkan Spark History Server

Tangkapan layar halaman web Spark UI

Mengoptimalkan Notebook

Manfaatkan Spark History Server
Hentikan sesi Spark aktif saat tidak digunakan

Mengoptimalkan Notebook

Manfaatkan Spark History Server
Hentikan sesi Spark aktif saat tidak digunakan
Saat melakukan join, kurangi data di memori sebelum mengeksekusi join

Mengoptimalkan dataflow

Minimalkan operasi mahal seperti pengurutan

Contoh dataflow di mana operasi sort dihilangkan jika tidak diperlukan

Mengoptimalkan dataflow

Minimalkan operasi mahal seperti pengurutan
Query folding
- Alihkan tugas pemrosesan ke sumber data

Langkah dataflow contoh. Saat tidak ada query folding, evaluasi langkah terjadi di luar sumber data. Saat ada query folding, operasi dievaluasi oleh sumber data

Mengoptimalkan dataflow

Minimalkan operasi mahal seperti pengurutan
Query folding
- Alihkan tugas pemrosesan ke sumber data
Staging On/Off
- Nonaktifkan untuk muatan kecil atau transformasi sederhana
- Aktifkan untuk muatan besar atau transformasi kompleks

Tangkapan layar opsi Enable Staging di kueri dataflow

Scale Up

Tingkatkan ukuran SKU
SKU lebih tinggi = kapasitas komputasi lebih besar

Tabel daftar berbagai SKU Azure Fabric, dari F2 terkecil hingga F2048 terbesar v

Scale Up

Ilustrasi contoh scale up kapasitas Fabric dengan menambah jumlah v-core

Contoh: Scale up dari F64 (8 v-core) ke F128 (16 v-core)

Scale Out

Pindahkan beberapa item ke kapasitas Fabric lain.
Isolasi beban kerja
- Produksi vs non-produksi
- Area bisnis berbeda, misal kapasitas terpisah untuk laporan eksekutif

Scale Out

Ilustrasi contoh scale out kapasitas Fabric dengan menambah kapasitas kedua dan memindahkan beban kerja ke sana

Ayo berlatih!

Transformasi dan Analisis Data dengan Microsoft Fabric