Veri mühendisliği ve büyük veri

Veri Mühendisliğini Anlamak

Hadrien Lacroix

Content Developer at DataCamp

Kurs hakkında

• Kavramsal kurs
• Kod yazma yok
• Hedefler
  • Veri mühendisleriyle iletişim kurabilmek
  • Daha fazla öğrenmek için sağlam temel sağlamak

Bölüm 1

Veri mühendisliği nedir?

1. Veri mühendisliği ve büyük veri
2. Veri mühendisleri vs. veri bilimcileri
3. Veri hatları

Bölüm 2

Veri depolama nasıl çalışır

1. Yapısal vs. yapısal olmayan veri
2. SQL
3. Veri ambarı ve veri gölleri

Bölüm 3

Veri nasıl taşınır ve işlenir

1. Veriyi işleme
2. Veriyi zamanlama
3. Paralel hesaplama
4. Bulut bilişim

$$

$$

$$

Veri iş akışı

Veri iş akışı

Veri iş akışı

Veri iş akışı

Veri mühendisleri

Veri mühendisleri

Veri mühendisleri şunları sağlar:

• doğru veriyi
• doğru biçimde
• doğru kişilere
• mümkün olduğunca verimli şekilde

Bir veri mühendisinın sorumlulukları

• Farklı kaynaklardan veri alır
• Analiz için veritabanlarını optimize eder
• Bozuk veriyi temizler
• Veri mimarilerini geliştirir, kurar, test eder ve sürdürür

Veri mühendisleri ve büyük veri

• Büyük veri norm haline geliyor =>

Veri mühendisleri ve büyük veri

• Büyük veri norm haline geliyor => veri mühendislerine ihtiyaç artıyor
• Büyük veri:
  • Boyutla nasıl başa çıkılacağını düşünmek gerekir
  • Öyle büyük ki geleneksel yöntemler artık işlemez

Büyük veri büyümesi

• Sensörler ve cihazlar
• Sosyal medya
• Kurumsal veriler
• VoIP (ses iletişimi, multimedya oturumları)

¹ Data Age 2025, Seagate, Kasım 2018

Beş V

• Hacim (ne kadar?)
• Çeşitlilik (hangi tür?)
• Hız (ne sıklıkta?)
• Doğruluk (ne kadar isabetli?)
• Değer (ne kadar faydalı?)

Özet

• Sizi neler bekliyor
• Verinin bir organizasyonda akışı
• Veri mühendisi ne zaman devreye girer
• Sorumlulukları nelerdir
• Veri mühendisliğinin büyük veriyle ilişkisi

Hadi pratik yapalım!

Veri Mühendisliğini Anlamak