Veri Boru Hatları

Veri Bilimini Anlamak

Sara Billen

Curriculum Manager

$$ Tek kaynakla veri toplama ve alma

Veri Bilimini Anlamak

$$ Üç kaynakla veri toplama ve alma

$$

Nasıl ölçekleriz?

Birden fazla veri kaynağı:

  • Kamu kayıtları
  • API’ler
  • Veritabanları

Farklı veri türleri:

  • Yapısız veri
  • Tablolu veri
  • Gerçek zamanlı akış verisi örn. tweet’ler
Veri Bilimini Anlamak

Veri boru hattı nedir?

  • Veriyi tanımlı aşamalara taşır
  • Otomatik toplama ve depolama
    • Saatlik, günlük, haftalık zamanlanır
    • Bir olaya göre tetiklenir
  • Uyarılarla izlenir
  • Büyük veri projeleri için gereklidir
  • Veri mühendisleri çözümleri özelleştirir
  • Extract Transform Load (ETL)

Veri boru hattı

Veri Bilimini Anlamak

Vaka çalışması: akıllı ev

Veri Kaynak Sıklık
Hava koşulları Ulusal Hava Servisi API’si Her 30 dakikada bir
Bölgenizdeki tweet’ler Twitter API Gerçek zamanlı akış
İç ortam sıcaklığı Akıllı ev termostatı Her 5 dakikada bir
Işıkların durumu Akıllı ampuller Her dakikada bir
Kilitlerin durumu Akıllı kapı kilitleri Her 15 saniyede bir
Enerji tüketimi Akıllı sayaç Haftalık
Veri Bilimini Anlamak

Çıkarma

Çıkarma aşaması

Kaynak Sıklık
Ulusal Hava Durumu API’si Her 30 dakikada bir
Twitter API Gerçek zamanlı akış
Akıllı ev termostatı Her 5 dakikada bir
Akıllı ampuller Her dakikada bir
Akıllı kapı kilitleri Her 15 saniyede bir
Akıllı sayaç Haftalık
Veri Bilimini Anlamak

Dönüştürme

Yükleme aşaması

Veri Bilimini Anlamak

Dönüştürme

Bu kadar veri gelirken nasıl düzenli ve kullanımı kolay tutarız?

$$ Örnek dönüşümler:

  • Kaynakları tek veri kümesinde birleştirme
  • Yapıları veritabanı şemalarına uyarlama
  • İlgisiz veriyi kaldırma

Bu aşamada veri hazırlama ve keşif yapılmaz

Veri Bilimini Anlamak

Yükleme

Yükleme aşaması

Veri Bilimini Anlamak

Otomasyon

Otomasyon

Veri Bilimini Anlamak

Hadi pratik yapalım!

Veri Bilimini Anlamak

Preparing Video For Download...