Inżynieria danych i big data

Wprowadzenie do inżynierii danych

Hadrien Lacroix

Content Developer at DataCamp

O kursie

• Kurs koncepcyjny
• Bez kodowania
• Cele
  • Umiejętność komunikacji z inżynierami danych
  • Solidna podstawa do dalszej nauki

Rozdział 1

Czym jest inżynieria danych?

1. Inżynieria danych i big data
2. Inżynierowie danych a data scientists
3. Potoki danych

Rozdział 2

Jak działa przechowywanie danych

1. Dane strukturalne i niestrukturalne
2. SQL
3. Hurtownie danych i data lake

Rozdział 3

Jak przenosić i przetwarzać dane

1. Przetwarzanie danych
2. Harmonogramowanie danych
3. Przetwarzanie równoległe
4. Przetwarzanie w chmurze

$$

$$

$$

Przepływ danych

Przepływ danych

Przepływ danych

Przepływ danych

Inżynierowie danych

Inżynierowie danych

Inżynierowie danych dostarczają:

• właściwe dane
• w odpowiedniej formie
• odpowiednim osobom
• możliwie najefektywniej

Obowiązki inżyniera danych

• Pozyskiwanie danych z różnych źródeł
• Optymalizacja baz danych pod kątem analizy
• Usuwanie uszkodzonych danych
• Tworzenie, budowa, testowanie i utrzymanie architektur danych

Inżynierowie danych i big data

• Big data staje się normą =>

Inżynierowie danych i big data

• Big data staje się normą => inżynierowie danych są coraz bardziej potrzebni
• Big data:
  • Wymaga przemyślenia sposobu obsługi dużych zbiorów
  • Tradycyjne metody przestają działać

Wzrost big data

• Czujniki i urządzenia
• Media społecznościowe
• Dane korporacyjne
• VoIP (komunikacja głosowa, sesje multimedialne)

¹ Data Age 2025, Seagate, November 2018

Pięć V

• Volume – wolumen (ile?)
• Variety – różnorodność (jakiego rodzaju?)
• Velocity – szybkość (jak często?)
• Veracity – wiarygodność (jak dokładne?)
• Value – wartość (jak użyteczne?)

Podsumowanie

• Co czeka w kursie
• Jak dane przepływają przez organizację
• Kiedy inżynier danych wkracza do akcji
• Jakie są jego obowiązki
• Jak inżynieria danych wiąże się z big data

Czas na ćwiczenia!

Wprowadzenie do inżynierii danych