Ingineria datelor și big data

Înțelegerea ingineriei datelor

Hadrien Lacroix

Content Developer at DataCamp

Despre curs

• Curs conceptual
• Fără programare
• Obiective
  • A putea dialoga cu inginerii de date
  • O bază solidă pentru aprofundare

Capitolul 1

Ce este ingineria datelor?

1. Ingineria datelor și big data
2. Ingineri de date vs. oameni de știință ai datelor
3. Pipeline-uri de date

Capitolul 2

Cum funcționează stocarea datelor

1. Date structurate vs. nestructurate
2. SQL
3. Data warehouse și data lake

Capitolul 3

Cum se mută și se procesează datele

1. Procesarea datelor
2. Planificarea datelor
3. Calcul paralel
4. Calcul în cloud

$$

$$

$$

Fluxul de date

Fluxul de date

Fluxul de date

Fluxul de date

Inginerii de date

Inginerii de date

Inginerii de date livrează:

• datele corecte
• în forma potrivită
• persoanelor potrivite
• cât mai eficient posibil

Responsabilitățile unui inginer de date

• Ingerează date din surse diferite
• Optimizează bazele de date pentru analiză
• Elimină datele corupte
• Dezvoltă, construiește, testează și menține arhitecturi de date

Inginerii de date și big data

• Big data devine norma =>

Inginerii de date și big data

• Big data devine norma => inginerii de date sunt din ce în ce mai necesari
• Big data:
  • Trebuie gândit cum se gestionează volumul său
  • Atât de vast încât metodele tradiționale nu mai funcționează

Creșterea big data

• Senzori și dispozitive
• Rețele sociale
• Date de întreprindere
• VoIP (comunicare vocală, sesiuni multimedia)

¹ Data Age 2025, Seagate, November 2018

Cei cinci V

• Volum (cât de mult?)
• Varietate (ce tip?)
• Viteză (cât de frecvent?)
• Veridicitate (cât de precis?)
• Valoare (cât de util?)

Rezumat

• Ce vă așteaptă
• Cum circulă datele într-o organizație
• Când intervine un inginer de date
• Care sunt responsabilitățile sale
• Cum se raportează ingineria datelor la big data

Să exersăm!

Înțelegerea ingineriei datelor