Microsoft Fabric'de Veri Mühendisliği

Microsoft Fabric ile Verileri Dönüştür ve Analiz Et

Luis Silva

Solution Architect - Data & AI

Uçtan Uca Veri Analitiği

Veri kaynakları, alma, hazırlama ve dönüştürme, depolama, sorgulama ile görselleştirme ve analiz dahil uçtan uca veri analitiği bileşenlerini gösteren diyagram

Veriyi kaynaktan alıp bir veri gölüne depolayın
Veriyi hazırlayın ve dönüştürün
Veriyi görselleştirip analiz edin

Data Factory

Uçtan uca veri analitiği çözümünün bileşenlerini gösteren diyagram; Ingest bileşeninde Veri Hatlarını, Prepare and Transform bileşeninde Dataflow'ları vurgular

Veriyi alın, hazırlayın ve dönüştürün
Dataflow'lar ve Veri Hatları

Dataflow'lar

Veri alımı ve dönüşümü için düşük kodlu arayüz
Power Query dönüşüm altyapısı

Örnek bir alım dataflow'unu gösteren Dataflow tasarımcısının ekran görüntüsü

Veri Hatları (Data Pipelines)

Bir görevi yürüten etkinlikler bütünü
Etkinlik türleri:
- Veri taşıma (Kopyalama etkinliği, Dataflow)
- Veri dönüştürme (Notebook, Saklı Yordam, Betik)
- Denetim (Switch, If, ForEach, Wait)

Bir Kopyalama etkinliği ve bir Dataflow etkinliği içeren örnek bir alım hattını gösteren Veri Hattı tasarımcısının ekran görüntüsü

Synapse Veri Mühendisliği

Uçtan uca veri analitiği çözümünün bileşenlerini gösteren diyagram; Store bileşeninde Lakehouse öğelerini, Prepare and Transform bileşeninde Notebooks ve Spark job'ını vurgular

Lakehouse'lar
Notebook'lar
Apache Spark İş Tanımları

Lakehouse'lar

Yapılandırılmış veri (tablolar)
Yapılandırılmamış veri (dosyalar)

Fabric portalındaki Lakehouse Explorer ekran görüntüsü; Tablolar ve Dosyalar içeren bir Lakehouse gösterir

Notebook'lar

Etkileşimli web arayüzü
- Veri işleme kodu
- Veri görselleştirmeleri
- Yorumlar / Açıklamalar
Çoklu dil desteği:
- PySpark (Python)
- Spark (Scala)
- Spark SQL (SQL)
- SparkR (R)

Metin açıklamaları, Python kodu ve bir histogram grafiği içeren örnek bir not defteri gösteren Notebook düzenleyicisinin ekran görüntüsü

Apache Spark İş Tanımları

Spark kümelerine toplu/akış işleri gönderin
Notebook'lara alternatif veya tamamlayıcı:
- Keşif, prototipleme ve ortak geliştirme için Notebook'lar
- Üretime hazır veri işleme kodunun otomasyonu için Spark İş Tanımı

Yapılandırma parametrelerini gösteren bir Spark İş tanımının ekran görüntüsü

Synapse Veri Ambarı

Uçtan uca veri analitiği çözümünün bileşenlerini gösteren diyagram; Store bileşeninde Warehouse öğelerini vurgular

Geleneksel ilişkisel veri ambarı gibi davranır
Veriyi OneLake'te açık Delta Lake formatında depolar
Diğer Fabric iş yükleriyle birlikte çalışabilirlik sağlar
Verinin birden çok kopyasını oluşturma ihtiyacı yok

Bir Veri Deposu Seçimi

Lakehouse
- Yapılandırılmamış veri (dosyalar)
- Birincil geliştirme arayüzü: Spark

Warehouse
- Yapılandırılmış veri (tablolar)
- Birincil geliştirme arayüzü: T-SQL

Bir Veri Kopyalama Aracı Seçimi

Kopyalama Etkinliği, Dataflow ve Spark arasında seçim yaparken dikkate alınacak bazı yönleri özetleyen tablo. Yönler: Gerekli kod miktarı, geliştirici becerileri, veri kaynakları ve dönüşüm karmaşıklığı

Bir Veri Kopyalama Aracı Seçimi

Ayo berlatih!

Microsoft Fabric ile Verileri Dönüştür ve Analiz Et