Veri Keşfi ve Dönüşümü

Microsoft Fabric ile Verileri Dönüştür ve Analiz Et

Luis Silva

Solution Architect - Data & AI

Veri dönüşüm senaryoları

Veriyi neden dönüştürürüz?

Kaynak sistemlerden hatalı veriyi kaldırma/temizleme

Kırmızıyla vurgulanmış geçersiz girdilere sahip veri tablosu görseli

Veri dönüşüm senaryoları

Veriyi neden dönüştürürüz?

Kaynak sistemlerden hatalı veriyi kaldırma/temizleme.
Tutarlılık için veri türlerini dönüştürme.

Sayıları metin olarak tutan bir sütunun gerçek sayılara dönüştürülmesini gösteren görsel

Veri dönüşüm senaryoları

Veriyi neden dönüştürürüz?

Kaynak sistemlerden hatalı veriyi kaldırma/temizleme.
Tutarlılık için veri türlerini dönüştürme.
İlgisiz veriyi filtreleme.

Belirli bir ölçütü karşılamayan satırları filtrelemeden önce/sonra tabloyu gösteren görsel; örnekte belirli alanı 'X' olmayan kayıtlar tutuluyor

Veri dönüşüm senaryoları

Veriyi neden dönüştürürüz?

Kaynak sistemlerden hatalı veriyi kaldırma/temizleme.
Tutarlılık için veri türlerini dönüştürme.
İlgisiz veriyi filtreleme.
Birden çok kaynaktan veriyi birleştirme.

İki tablonun tek bir tabloda birleştirilmesini gösteren diyagram -

Veri dönüşüm senaryoları

Veriyi neden dönüştürürüz?

Kaynak sistemlerden hatalı veriyi kaldırma/temizleme.
Tutarlılık için veri türlerini dönüştürme.
İlgisiz veriyi filtreleme.
Birden çok kaynaktan veriyi birleştirme.
Analiz ve raporlama için daha uygun biçime getirme.

Büyük bir tablonun yıldız şemaya dönüştürülmesini gösteren diyagram

Veri temizleme

İlgisiz satırları azaltma (üst/alt satırları kaldırma)
Yinelenenleri kaldırma
Boş satırları kaldırma
Hata içeren satırları kaldırma
Veri türlerini dönüştürme

Kaynak tabloda kırmızıyla vurgulanmış geçersiz kayıtların hedef tablodan çıkarıldığını gösteren görsel

Veri filtreleme

Veri kümelerini daraltma
- Yalnızca bir alt küme seçme
- Belirli ölçütleri karşılamayan kayıtları atma
Örnek: SQL WHERE maddesi

State sütunu NY olan Orders tablosundan seçim yapan sorgu ekran görüntüsü

NY eyaletiyle ilgili olmayan satırları filtreleyen tabloyu gösteren diyagram

Veri Birleştirme ve Join

İki veya daha fazla veri kümesini birleştirme
Yıldız şemalar için kullanışlıdır

İki tablonun birleştirilmesini gösteren diyagram

Veri Özetleme ve Ayrıştırma

Özetleme: veriyi derleme ve özetleme

Eyalete göre siparişleri toplam sipariş ve toplam satış olarak özetleyen tablo

Ayrıştırma: veriyi bölme, genelde tek sütunu birden çok sütuna ayırma

Şube konumlarında şehir, eyalet bilgisinin ayrı sütunlara ayrıldığı tablo

Veri keşfi ve dönüşüm araçları

Dataflows
Data Wrangler

Yan yana iki ekran görüntüsü: dataflows ve data wrangler arayüzleri

Spark not defterleri
SQL betikleri

Yan yana iki ekran görüntüsü: bir Spark not defteri ve bir SQL betiği

Dataflows

Düşük kodlu grafik arayüz
Temizleme
Filtreleme
Özetleme

Birkaç örnek sorgu ve dönüşüm işlemleriyle Dataflow tasarımcısı ekran görüntüsü

Data Wrangler

Keşif amaçlı veri analizi için not defteri tabanlı araç
Veri görünüm ızgarası
Dinamik özet istatistikleri
Yerleşik görselleştirmeler
Yaygın veri temizleme işlemleri kitaplığı

Bazı örnek işlemleri gösteren Data Wrangler arayüz ekran görüntüsü

Spark not defterleri

Çeşitli diller
Veri işleme için Python kütüphaneleri
- Büyük veri kümeleri için PySpark
- Küçük veri kümeleri için Pandas

Örnek PySpark kodu içeren bir Spark not defteri ekran görüntüsü

SQL betikleri

Veri işleme için T-SQL deyimleri: SELECT, INSERT, UPDATE, DELETE
Birleştirme için JOIN
Tür dönüşümü için CAST ve CONVERT

Örnek SELECT sorgusu içeren SQL düzenleyici ekran görüntüsü

Haydi pratik yapalım!

Microsoft Fabric ile Verileri Dönüştür ve Analiz Et