Eksplorasi dan Transformasi Data

Transformasi dan Analisis Data dengan Microsoft Fabric

Luis Silva

Solution Architect - Data & AI

Skenario transformasi data

Mengapa perlu mentransformasi data?

Hapus atau bersihkan data salah dari sistem sumber

Gambar tabel data dengan beberapa entri tidak valid ditandai merah

Skenario transformasi data

Mengapa perlu mentransformasi data?

Hapus atau bersihkan data salah dari sistem sumber.
Ubah tipe data agar konsisten.

Gambar yang menunjukkan kolom data menyimpan angka sebagai teks diubah menjadi angka sebenarnya

Skenario transformasi data

Mengapa perlu mentransformasi data?

Hapus atau bersihkan data salah dari sistem sumber.
Ubah tipe data agar konsisten.
Saring data yang tidak relevan.

Gambar yang menunjukkan tabel sebelum dan sesudah menyaring baris yang tidak memenuhi kriteria, dalam contoh ini hanya menyimpan record saat suatu field tidak sama dengan 'X'

Skenario transformasi data

Mengapa perlu mentransformasi data?

Hapus atau bersihkan data salah dari sistem sumber.
Ubah tipe data agar konsisten.
Saring data yang tidak relevan.
Gabungkan data dari beberapa sumber.

Diagram yang menunjukkan dua tabel digabung menjadi satu -

Skenario transformasi data

Mengapa perlu mentransformasi data?

Hapus atau bersihkan data salah dari sistem sumber.
Ubah tipe data agar konsisten.
Saring data yang tidak relevan.
Gabungkan data dari beberapa sumber.
Susun data ke format yang lebih cocok untuk analisis dan pelaporan.

Diagram yang menunjukkan satu tabel besar diubah menjadi skema bintang

Pembersihan data

Kurangi baris tidak relevan (hapus baris atas/bawah)
Hapus duplikat
Hapus baris kosong
Hapus baris error
Ubah tipe data

Gambar tabel data sumber dengan entri tidak valid ditandai merah dan panah yang menunjukkan entri tersebut dihapus pada tabel tujuan

Penyaringan data

Mempersempit dataset
- Pilih hanya sebagian data
- Buang record yang tidak memenuhi kriteria
Contoh: klausa SQL WHERE

Tangkapan layar kueri yang memilih data dari tabel Orders saat kolom State bernilai NY

Diagram yang menunjukkan tabel menyaring baris yang tidak terkait dengan negara bagian NY

Merging dan Join data

Join dua atau lebih dataset
Berguna untuk membangun skema bintang

Diagram yang mengilustrasikan penggabungan dua tabel

Agregasi dan De-agregasi Data

Agregasi: kompilasi dan ringkas data

Tabel pesanan penjualan per negara bagian diagregasi menjadi tabel baru dengan total jumlah pesanan dan total nilai penjualan per negara bagian

De-agregasi: bagi data, biasanya satu kolom menjadi beberapa kolom

Tabel lokasi cabang dengan lokasi berisi kota, negara bagian di-deagregasi menjadi tabel baru dengan kolom kota dan negara bagian terpisah

Alat eksplorasi dan transformasi data

Dataflows
Data Wrangler

Dua tangkapan layar berdampingan menampilkan antarmuka grafis dataflows dan data wrangler

Notebook Spark
Skrip SQL

Dua tangkapan layar berdampingan menampilkan contoh notebook Spark dan skrip SQL

Dataflows

Antarmuka grafis low-code
Pembersihan
Penyaringan
Agregasi

Tangkapan layar perancang Dataflow dengan beberapa kueri contoh dan beberapa operasi transformasi yang tersedia

Data Wrangler

Alat berbasis notebook untuk eksplorasi data
Grid tampilan data
Statistik ringkas dinamis
Visualisasi bawaan
Pustaka operasi pembersihan data umum

Tangkapan layar antarmuka Data Wrangler yang menampilkan contoh operasi

Notebook Spark

Berbagai bahasa
Pustaka Python untuk manipulasi data
- PySpark untuk dataset besar
- Pandas untuk dataset kecil

Tangkapan layar notebook Spark dengan contoh kode PySpark

Skrip SQL

Pernyataan T-SQL untuk manipulasi data: SELECT, INSERT, UPDATE, DELETE
JOIN untuk menggabungkan data
CAST dan CONVERT untuk mengubah tipe data

Tangkapan layar editor SQL dengan contoh kueri SELECT

Ayo berlatih!

Transformasi dan Analisis Data dengan Microsoft Fabric