Veri işleme

Veri Mühendisliğini Anlamak

Hadrien Lacroix

Content Developer at DataCamp

veri hattı

veriyi veri gölüne taşıma

veriyi veri gölüne taşıma

bozuk veriyi denetleme

Genel tanım

Veri işleme: ham veriyi anlamlı bilgiye dönüştürme

Veri işlemenin değeri

Kavramsal olarak

İstenmeyen veriyi kaldırın
Bellek, işlem ve ağ maliyetlerini optimize edin
Veriyi bir türden diğerine dönüştürün

Spotflix’te

Test özelliği verisine uzun vadede gerek yok
Bu kadar büyük dosyaları depolayıp yayamayız

veri hattı

veri hattı

veri hattı

Veri işlemenin değeri

Kavramsal olarak

İstenmeyen veriyi kaldırın
Bellekten tasarruf edin
Veriyi bir türden diğerine dönüştürün
Veriyi düzenleyin
Şema/yapıya uydurun
Üretkenliği artırın

Spotflix’te

Kayıpsız formata gerek yok
Bu kadar büyük dosyaları depolayamayız
Şarkıları .flac’tan .ogg’ye dönüştürün
Veri gölünden veri ambarlarına yeniden düzenleyin
Çalışan tablosu örneği
Veri bilimcileri etkinleştirin

Veri mühendisleri veriyi nasıl işler

Veri işleme, temizleme ve düzenleme görevleri
- otomatikleştirilebilir
- her zaman yapılacaktır
Veriyi mantıklı yapıda bir veritabanında saklayın
Tabloların üzerine görünümler oluşturun
Veritabanı performansını optimize edin

Bozuk şarkı dosyalarını reddetme
Eksik meta veride ne yapılacağını belirleme
Sanatçı ve albüm tablolarını ayırın...
...ama birleştiren görünüm sağlayın
Dizinleme

¹ Yığın ve akış arasındaki fark bir sonraki derste açıklanacaktır!

Apache Spark logosu

Özet

Veri işleme nedir
Neden gereklidir
Nelerden oluşur
Spotflix’te veriyi nasıl işleriz

Hadi pratik yapalım!

Veri Mühendisliğini Anlamak

Preparing Video For Download...