Veri işleme

Veri Mühendisliğini Anlamak

Hadrien Lacroix

Content Developer at DataCamp

veri hattı

Veri Mühendisliğini Anlamak

veriyi veri gölüne taşıma

Veri Mühendisliğini Anlamak

veriyi veri gölüne taşıma

Veri Mühendisliğini Anlamak

bozuk veriyi denetleme

Veri Mühendisliğini Anlamak

Genel tanım

  • Veri işleme: ham veriyi anlamlı bilgiye dönüştürme
Veri Mühendisliğini Anlamak

Veri işlemenin değeri

Kavramsal olarak

  • İstenmeyen veriyi kaldırın
  • Bellek, işlem ve ağ maliyetlerini optimize edin
  • Veriyi bir türden diğerine dönüştürün

Spotflix’te

  • Test özelliği verisine uzun vadede gerek yok
  • Bu kadar büyük dosyaları depolayıp yayamayız
Veri Mühendisliğini Anlamak

veri hattı

Veri Mühendisliğini Anlamak

veri hattı

Veri Mühendisliğini Anlamak

veri hattı

Veri Mühendisliğini Anlamak

Veri işlemenin değeri

Kavramsal olarak

  • İstenmeyen veriyi kaldırın
  • Bellekten tasarruf edin
  • Veriyi bir türden diğerine dönüştürün
  • Veriyi düzenleyin
  • Şema/yapıya uydurun
  • Üretkenliği artırın

Spotflix’te

  • Kayıpsız formata gerek yok
  • Bu kadar büyük dosyaları depolayamayız
  • Şarkıları .flac’tan .ogg’ye dönüştürün
  • Veri gölünden veri ambarlarına yeniden düzenleyin
  • Çalışan tablosu örneği
  • Veri bilimcileri etkinleştirin
Veri Mühendisliğini Anlamak

Veri mühendisleri veriyi nasıl işler

  • Veri işleme, temizleme ve düzenleme görevleri
    • otomatikleştirilebilir
    • her zaman yapılacaktır
  • Veriyi mantıklı yapıda bir veritabanında saklayın
  • Tabloların üzerine görünümler oluşturun
  • Veritabanı performansını optimize edin
  • Bozuk şarkı dosyalarını reddetme
  • Eksik meta veride ne yapılacağını belirleme
  • Sanatçı ve albüm tablolarını ayırın...
  • ...ama birleştiren görünüm sağlayın
  • Dizinleme
Veri Mühendisliğini Anlamak

1 Yığın ve akış arasındaki fark bir sonraki derste açıklanacaktır!
Veri Mühendisliğini Anlamak

Apache Spark logosu

Veri Mühendisliğini Anlamak

Özet

  • Veri işleme nedir
  • Neden gereklidir
  • Nelerden oluşur
  • Spotflix’te veriyi nasıl işleriz
Veri Mühendisliğini Anlamak

Hadi pratik yapalım!

Veri Mühendisliğini Anlamak

Preparing Video For Download...