Fabric Veri Boru Hatlarına Giriş

Microsoft Fabric ile Veri Alımı ve Semantik Modeller

Alex Kuntz

Head of Cloud Curriculum, DataCamp

Microsoft Fabric’te Data Pipelines

Data Factory’de İki Ana Üst Düzey Özellik:

  1. Data Pipelines - Veri hareketini orkestre eder. Data Pipelines
  2. Dataflows - arayüz tabanlı 300+ dönüşümü destekler. Dataflows

Microsoft Fabric’te Data Pipelines:

  • Az kodla ETL’yi otomatikleştirir.
  • Çeşitli veri kaynaklarıyla sorunsuz entegrasyonu destekler
  • Veri alma ve dönüşüm için zengin etkinlik seti
  • Elle çalıştırın veya tetikleyicilerle zamanlayın
1 https://learn.microsoft.com/en-us/fabric/data-factory/data-factory-overview
Microsoft Fabric ile Veri Alımı ve Semantik Modeller

Veri Boru Hatlarında Etkinlikler

Etkinlikler, Boru Hatları içindeki görevlerdir; veri işleme ve iş akışı otomasyonunu orkestre eder. Bir veri boru hattındaki etkinlikleri betimleyen otomobil montaj hattı

1 https://learn.microsoft.com/en-us/fabric/data-factory/activity-overview
Microsoft Fabric ile Veri Alımı ve Semantik Modeller

Etkinlik Türleri

  1. Taşı & Dönüştür:
    • Veri aktarımı ve dönüşümünü yönetir
    • (ör. Copy data Copy data).
  2. Meta Veri & Doğrulama:
    • Veri kalitesi kontrolleri ve meta veri alımını yönetir.
    • (ör. LookupLookup).
  3. Denetim Akışı:
    • Koşullar ve döngülere göre görev sırasını kontrol eder.
    • (ör. If condition If condition, ForEach If condition).
1 https://learn.microsoft.com/en-us/fabric/data-factory/activity-overview
Microsoft Fabric ile Veri Alımı ve Semantik Modeller

Etkinlik Türleri

  1. Orkestrasyon:

    • Birden çok süreci senkronize eder
    • (ör. Invoke Pipeline Invoke Pipeline).

  2. Bildirimler:

    • E-posta veya mesajlaşma araçlarıyla uyarı ve güncellemeler gönderir
    • (ör. 365 Outlook365 Outlook, TeamsTeams).

  3. Dönüşüm:

    • İş mantığına göre veri dönüştürmeleri çalıştırır.
    • (ör. NotebookNotebook, Stored ProcedureStored Procedure).
Microsoft Fabric ile Veri Alımı ve Semantik Modeller

Boru Hattı Parametreleri ve Değişkenler

Parametreler ve Değişkenler, boru hattı davranışını dinamik olarak kontrol etmeye yardımcı olur.

Parametreler:

  • Çalışma Anında Ayarlanır: Dış girdilerle boru hattı davranışını değiştirin.
  • Genel Kapsam: Tüm boru hattı yürütmesini etkiler.

Değişkenler:

  • Dinamik İzleme: Çalışma sırasında değerleri değiştirir.
  • Yerel Kapsam: Belirli etkinlikler içinde veriyi yönetin.
1 https://learn.microsoft.com/en-us/fabric/data-factory/parameters 2 https://learn.microsoft.com/en-us/fabric/data-factory/set-variable-activity
Microsoft Fabric ile Veri Alımı ve Semantik Modeller

Boru hattı çalıştırmaları

Bir boru hattı çalıştırması, boru hattınızdaki etkinlikleri tamamlanana kadar yürütür.

  • İsteğe Bağlı: Boru hatlarını doğrudan Fabric arayüzünden başlatın. İsteğe Bağlı Çalıştırma
  • Zamanlanmış: Belirli bir sıklıkta çalıştırmayı başlatır. Zamanlanmış Çalıştırma

İzleme:

  • Her çalıştırmayı benzersiz Çalıştırma Kimliği ile Monitor sekmesinde izleyin ve inceleyin.

Doğrulama:

  • Yürütmeden önce Doğrula seçeneğiyle yapılandırmanın doğru olduğunu kontrol edin.
1 https://learn.microsoft.com/en-us/fabric/data-factory/pipeline-runs
Microsoft Fabric ile Veri Alımı ve Semantik Modeller

Hadi pratik yapalım!

Microsoft Fabric ile Veri Alımı ve Semantik Modeller

Preparing Video For Download...